Google クローラー概要（ユーザー エージェント一覧）| Google 検索セントラル | ドキュメント | Google for Developersフィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google クローラーとフェッチャーの概要（ユーザー エージェント） Google はクローラーとフェッチャーを使用して、自動的にまたはユーザー リクエストに基づき、サービスのアクションを実行します。 「クローラー」（「ロボット」や「スパイダー」と呼ばれることもあります）は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出し、スキャンするプログラムの総称です。Google 検索に使用される Google のメインのクローラーは、Googlebot と呼ばれます。 フェッチャーは、ブラウザと同様に、ユーザーからの指示に基づいて単一の URL をリクエストするツールです。 下記の表は、さまざまなプロダクトやサービスで使用されている Google のクローラーとフェッチャ
