各検索エンジンのREP(ロボット排除プロトコル)について、以前「Yahoo!、Google、Live SearchがREPの共通仕様を発表 」で説明しました。 その中で、Yahoo!、Google、Live Searchでサポートが一部異なるものが下記です。 Yahoo! NOYDIR Robots-nocontent Yahoo!、Live Search Crawl-Delay Google UNAVAILABLE_AFTER NOIMAGEINDEX NOTRANSLATE 今回は、この中の"Crawl-Delay"について説明いたします。 検索エンジンロボットは、インターネット上にある(日々増え続けている)ウェブページ全てを収集対象としています。仮に1つのサーバでロボットを運用した場合、全てのウェブページを収集するのにどれだけ時間がかかるか想像してみて下さい。現実的に収集することは不