Googlebotはリンクをたどってクロールしたりはしない、人間のユーザーとは違う[対象: 中〜上級] Googlebotがどのようにしてウェブページへのクロールを開始するかが今日のトピックです。 Googlebotに限らず検索エンジンのロボットはリンクをたどってリンク先のページへ訪問すると言われます。 しかし正確に言うと、少なくともGooglebotにおいてはこれは正しくありません。 Googlebotは、僕たち人間のユーザーとは違って文字どおりリンクをたどってその先にあるページにアクセスしたりはしないのです。 では実際にどうやっているかというと次のようなプロセスなります。 ページをクロールした際にそのページにあるリンク（URL）を発見する サイトマップで送信されたURLの情報を参照する 上の2つの情報をもとにクロールするURLのリストを作成する そのURLリストに従ってクロールを開始する 端的に言うとクロール対象のURLのリストを作成して、そのリストにあるURLに対
