By Mechanekton Googlebot(グーグルボット)とは、Googleのウェブクロール用ロボットのことで、Googleの検索用インデックスに新しいページや更新されたページを次々とダウンロードして回収していくための一連のプログラムとプロセスのことで、Googlebotによってインターネット上の数十億のページを取得(クロール)するため、クローラとも呼ばれています。 しかし所詮はプログラムなので、例えばAJAXやJavaScriptを駆使しまくっているとなかなかうまくクロールしてくれず、AJAXなどもクロールできはするものの、人間が実際にクリックするのとは挙動が違うため、Google自身も「AJAX クロール: ウェブマスターおよびデベロッパー向けガイド」というのを出しており、その中でAJAXをより効果的にGooglebotにクロールさせるためのスキームを推奨せざるを得ないほどでし