クローラーの巡回頻度の調整 - インフォセンター - Yahoo!検索

インターネット全体の何十億ものウェブページを巡回するため、YSTは複数のクローラーを使っています。このためお客さまのサーバーに、異なるIPアドレスからYSTのクローラーがアクセスしているという記録が残ることがあります。 複数のクローラーが巡回する際は、1台のサーバーへのリクエスト数を制限しています。しかし、1台のサーバーに複数のIPアドレスが割り当てられていると、複数のサーバーと認識され、リクエスト数が増加する場合があります。 YSTのクローラーのアクセス頻度は、robots.txtに「Crawl-delay: xx」（「xx」には5や10などの数値を指定）という記述をすることで調整できます。 User-agent: Slurp Crawl-delay: 5 短い間隔でのアクセスを許容する場合には、数値を小さくします。 User-agent: Slurp Crawl-delay: 0.5