各検索エンジンのREP(ロボット排除プロトコル)について、以前「Yahoo!、Google、Live SearchがREPの共通仕様を発表 」で説明しました。 その中で、Yahoo!、Google、Live Searchでサポートが一部異なるものが下記です。 Yahoo! NOYDIR Robots-nocontent Yahoo!、Live Search Crawl-Delay Google UNAVAILABLE_AFTER NOIMAGEINDEX NOTRANSLATE 今回は、この中の"Crawl-Delay"について説明いたします。 検索エンジンロボットは、インターネット上にある(日々増え続けている)ウェブページ全てを収集対象としています。仮に1つのサーバでロボットを運用した場合、全てのウェブページを収集するのにどれだけ時間がかかるか想像してみて下さい。現実的に収集することは不
![『Crawl-Delayでクローラーの巡回頻度を調整する』](https://cdn-ak-scissors.b.st-hatena.com/image/square/172999cd87d8342dfa08d2a52973f3939a912f75/height=288;version=1;width=512/https%3A%2F%2Fstat.profile.ameba.jp%2Fprofile_images%2F85%2Fca-seo%2F1207651722031.gif)