ウェブマスターツール Fetch as Google の「URLをインデックスに送信」で再クロールをリクエスト[レベル：中級] URLのクロールをリクエストする機能がGoogleウェブマスターツールに加わりました。 「Fetch as Googlebot」の実行後に「インデックスに送信」という操作が可能になります。 「インデックスに送信」することでGoogleに速やかなクローリングを要求することができます。 通常は1日以内にクロールされます。 ただしクローリングを保証するものではありません。 あくまでもクローリングのリクエストです。 インデックスの送信には2種類あります。 URL URLとすべてのリンクページ 「URL」はFetch as Googlebotで取得したURLだけのクローリングをリクエストします。 「URLとすべてのリンクページ」はFetch as Googlebotで取得したURLに加えて、そのページからリンクしているページも合わせてクローリングをリクエストします。 リクエストの数
robots.txtファイルの使い方や記述方法を解説します - SEOのホワイトハットジャパン
