By Mechanekton Googlebot(グーグルボット)とは、Googleのウェブクロール用ロボットのことで、Googleの検索用インデックスに新しいページや更新されたページを次々とダウンロードして回収していくための一連のプログラムとプロセスのことで、Googlebotによってインターネット上の数十億のページを取得(クロール)するため、クローラとも呼ばれています。 しかし所詮はプログラムなので、例えばAJAXやJavaScriptを駆使しまくっているとなかなかうまくクロールしてくれず、AJAXなどもクロールできはするものの、人間が実際にクリックするのとは挙動が違うため、Google自身も「AJAX クロール: ウェブマスターおよびデベロッパー向けガイド」というのを出しており、その中でAJAXをより効果的にGooglebotにクロールさせるためのスキームを推奨せざるを得ないほどでし
![Google検索を支える「Googlebot」がAJAX・JavaScriptのクリックに対応、現実のユーザーっぽい挙動が可能に](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e3d61e110e73199d766f7524827ae0d4c845799/height=288;version=1;width=512/https%3A%2F%2Fi.gzn.jp%2Fimg%2F2012%2F05%2F16%2Fgooglebot-ajax%2F00_5005613003_830909a587_o.jpg)