Baiduspiderを出入り禁止にするBaiduspiderというクローラーを拒否するApacheの設定。一緒にUbiCrawlerも。 毎日すごい頻度でBaiduspiderというクローラーがやってきます。これは、「百度」という検索サイトのクローラーです。GoogleやYahoo!などのクローラーからのリクエストは、最低数秒間隔です。しかしこのBaiduspiderからは毎秒と言って良いくらい。これではさすがに負荷が高すぎになってしまいます。 そこでこのクローラーは、出入り禁止にすることにしました。まずは紳士的に。 クローラーは、/(ルートディレクトリー)のrobots.txtというファイルを読んで、そのサイト内のデータを取り込んでよいか確認することになっています。と言ってもこれは紳士協定。ちゃんと守るクローラーもいれば、守らないクローラーもいます。 Baiduspiderは、自身のヘルプにはrobots.txtのことが触れ
