関連記事:SEOツール26選 機能別に比較【2021年版】 クローラーが取得するファイルの種類 Googlebot は、次のようなファイルをクローリングします。 HTML CSS JavaScript 画像(GIF/JPEG/PNG/WebP/SVG) 動画(MP4/WebMなど) オフィス文書(Word/Excel/PowerPoint) PDF HTMLだけではなく、各種メディアファイルもクローリングしていることに注目です。画像ファイルは画像検索、動画ファイルは動画検索で表示されますし、WordファイルやPDFファイルも検索結果に表示されます。 このうち、CSSとJavaScriptは検索結果に表示されませんが、Googleがコンテンツのランキングを評価する際に使われるため、クローリングしています。 クローラーが巡回できないときは? 検索エンジンのクローラーは、リンク・XMLサイトマッ