タグ

ブックマーク / ameblo.jp/ca-seo (1)

  • 『Crawl-Delayでクローラーの巡回頻度を調整する』

    各検索エンジンのREP(ロボット排除プロトコル)について、以前「Yahoo!Google、Live SearchがREPの共通仕様を発表 」で説明しました。 その中で、Yahoo!Google、Live Searchでサポートが一部異なるものが下記です。 Yahoo! NOYDIR Robots-nocontent Yahoo!、Live Search Crawl-Delay Google UNAVAILABLE_AFTER NOIMAGEINDEX NOTRANSLATE 今回は、この中の"Crawl-Delay"について説明いたします。 検索エンジンロボットは、インターネット上にある(日々増え続けている)ウェブページ全てを収集対象としています。仮に1つのサーバでロボットを運用した場合、全てのウェブページを収集するのにどれだけ時間がかかるか想像してみて下さい。現実的に収集することは不

    『Crawl-Delayでクローラーの巡回頻度を調整する』
  • 1