『Crawl-Delayでクローラーの巡回頻度を調整する』各検索エンジンのREP（ロボット排除プロトコル）について、以前「Yahoo!、Google、Live SearchがREPの共通仕様を発表 」で説明しました。 その中で、Yahoo!、Google、Live Searchでサポートが一部異なるものが下記です。 Yahoo! NOYDIR Robots-nocontent Yahoo!、Live Search Crawl-Delay Google UNAVAILABLE_AFTER NOIMAGEINDEX NOTRANSLATE 今回は、この中の"Crawl-Delay"について説明いたします。 検索エンジンロボットは、インターネット上にある（日々増え続けている）ウェブページ全てを収集対象としています。仮に1つのサーバでロボットを運用した場合、全てのウェブページを収集するのにどれだけ時間がかかるか想像してみて下さい。現実的に収集することは不
インフォセンター - Yahoo!検索
