Baiduよけ 2006-10-18-1 [WebTool][Tips] 中国の検索エンジン「百度」(Baidu)のクローラは元気が良すぎて困る。 今のところ利点はないのでクロールを拒否しておくことに。 そりゃまあ、百度から日本語での検索もできないことはないですけど、 そもそも日本語向けじゃないから精度は問題外。 - だめな例:パンク(ンはストップワードか?) - 少しは見れる例:東京タワー アクセスログに残っていたURL「网頁搜索幇助-禁止搜索引??収録的方法」 (http://www.baidu.com/search/robots.html) を見てみると、普通の robots.txt の書き方が書いてあった。で、下記を robots.txt に追加。 User-agent: baiduspider Disallow: しかし、この Baiduspider、なかなか robots.tx
![[を] Baiduよけ](https://cdn-ak-scissors.b.st-hatena.com/image/square/af37977ee866988286b95e74fff98500a190545c/height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo-25.png)