Google クローラー概要（ユーザー エージェント一覧）| Google 検索セントラル | ドキュメント | Google for Developers

フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google クローラーとフェッチャーの概要（ユーザー エージェント） Google はクローラーとフェッチャーを使用して、自動的にまたはユーザー リクエストに基づき、サービスのアクションを実行します。 「クローラー」（「ロボット」や「スパイダー」と呼ばれることもあります）は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出し、スキャンするプログラムの総称です。Google 検索に使用される Google のメインのクローラーは、Googlebot と呼ばれます。 フェッチャーは、ブラウザと同様に、ユーザーからの指示に基づいて単一の URL をリクエストするツールです。 下記の表は、さまざまなプロダクトやサービスで使用されている Google のクローラーとフェッチャ

[rx7]

Googleのクローラ別のUA等の情報。

[yanbe]

“（パソコンのウェブページの広告品質をチェックします）”

[diveintounlimit]

“(robots.txtで)ユーザー エージェント Googlebot をブロックすると、Google の他のユーザー エージェントもすべてブロックされます”　”<meta name="googlebot" content="noindex">”

[akatakun]

サイト単位でGooglebotをブロックする: robots.txt，ページ単位でGooglebotをブロックする: ユーザエージェントGooglebotをブロックする

[suginoy]

"現在使用されている Googlebot-Mobile ユーザー エージェントは次のとおりです"

[nilab]

Googlebot-Mobile ユーザー エージェント - Webmasters — Google Developers

[Akira_0w0]

クローラ情報一覧