中国最大手の検索エンジン「百度(Baidu)」が、過剰クローリング問題に対応すると表明しました。 百度のクローラは Baiduspider という名前なのですが、すさまじい勢いでクローリングを行うロボットです。紳士協定として存在する robots.txt を参照しないばかりか(ヘルプページに参照すると書いてるが)、アクセス頻度も度を越していました。 Order deny,allow # Block Baidu (CN) Deny from 60.24.0.0/13 このようにアクセスを拒否しているサーバ管理者も多いのではないでしょうか? 各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。 1秒間に9アクセスはいくらなんでもヤバイと思うのですが、その頻度が下げられること