Baidu（百度）のクローラのお行儀がとても良くなったBaidu（百度）のクローラのお行儀がとても良くなった 2007-03-30-2 [WebTool] robot.txt で、 User-agent: * Crawl-delay: 10 とだけ設定しているサイトがあるのですが、アクセスログを見ると、 百度（Baidu）のクローラ「Baiduspider+」がこれに従ってきちんと 10秒の間隔をあけてアクセスに来ているのが確認できました。 非常にお行儀が良くなっています。素晴らしい。 私が管理しているサイトのいくつかは、歴史的経緯により、 元気が良すぎるBaiduをアク禁にしているんのですが[2006-10-18-1]、 お行儀の良さを確認したので徐々に解除することにします。 ということで、今現在、私のサイトに関して一番お行儀の悪いクローラ の座は Baidu から Googlebot に明け渡されました(ref. [2007-03-21-
