SYNCERのロゴ
アイキャッチ画像

クローラーのbot名

クローラーのbot名の一覧です。robots.txtに従うことを明言しているサイトのみを集めました。User-agentディレクティブに指定できます。

内容

リンクをクリックすると、各サイトのrobots.txtの説明ページに移動します。

名称説明
AdsBot-GoogleGoogle AdsBot
AdsBot-Google-Mobile-AppsGoogle アプリクローラ
Baiduspider百度
Baiduspider-ads百度 広告
Baiduspider-cproUnion baidu
Baiduspider-favoBaidu bookmark
Baiduspider-image百度 画像検索
Baiduspider-news百度 ニュース検索
Baiduspider-video百度 動画検索
Crowsnestスマートニュース
DuckDuckBotDuckDuckGo
FacebotFacebook
GooglebotGoogle ウェブ検索
Googlebot-ImageGoogle 画像検索
Googlebot-NewsGoogle ニュース検索
Googlebot-VideoGoogle 動画検索
GunosyGunosy
Mediapartners-GoogleGoogle Adsense
Megalodonウェブ魚拓
PinterestPinterest
SlurpYahoo.com
TwitterbotTwitter
bingbotBing
ia_archiverInternet Archive
rogerbotMoz
更新履歴
2016年6月22日 (水)
コンテンツを公開しました。