[を] BaiduよけBaiduよけ 2006-10-18-1 [WebTool][Tips] 中国の検索エンジン「百度」(Baidu)のクローラは元気が良すぎて困る。 今のところ利点はないのでクロールを拒否しておくことに。 そりゃまあ、百度から日本語での検索もできないことはないですけど、 そもそも日本語向けじゃないから精度は問題外。 - だめな例：パンク（ンはストップワードか？） - 少しは見れる例：東京タワー アクセスログに残っていたURL「网頁搜索幇助-禁止搜索引??収録的方法」 (http://www.baidu.com/search/robots.html) を見てみると、普通の robots.txt の書き方が書いてあった。で、下記を robots.txt に追加。 User-agent: baiduspider Disallow: しかし、この Baiduspider、なかなか
