Googleのロボットは、Googlebot(グーグルボット)と名付けられている。 Googlebot全般 見分け方は、ユーザーエージェントに「googlebot」が含まれているかどうかである。 ただし、Googlebotを詐称している不逞の輩がいるので注意。 IPは、66.249.64.#、66.249.66.#、66.249.71.#。 ホストは、crawl-66-249-64-#.googlebot.com、crawl-66-249-66-#.googlebot.com、crawl-66-249-71-#.googlebot.com。 Googlebotインデックス用? 主にインデックス用に巡回してきていると想像されているGooglebot。 ユーザーエージェントは、「googlebot/2.1 (+http://www.google.com/bot.html)」。 Mozill