検索エンジンロボットのクロール間隔を調整する方法(ただしGoogleを除く) - F.Ko-Jiの「一秒後は未来」

MSNやYahoo!やBaiduやAskの検索エンジンのクローラーからのアクセス間隔を調整したいときには、robots.txtで Crawl-delay を設定すればよいそうです。 Yahoo: Yahoo!検索 ヘルプ – 検索エンジン用ロボットからのリクエスト数を減らすには アクセス間隔によって問題が生じている場合、検索エンジン用ロボットのアクセス間隔の設定を、サーバーの環境に合わせて設定してください。 「robots.txt」をウェブサーバーに置き、”Crawl-delay: xx”の”xx”を5や20などに調整すると、アクセス間隔を伸ばせます。 MSN: サイト オーナー ヘルプ: MSNBot がサイトをクロールするときは、通常、数秒に複数回という短い間隔でサイトにアクセスすることはありません。サイトが低速で接続されていると MSNBot が判断した場合、アクセスの間隔は自動的に