がんちゃんのブログ: webクローラーのUser-Agent一覧このところうちに来ている/来たことのあるwebクローラー(とおもわれるもの)のUser-Agentを一覧表にしてみました。具体的にはrobots.txtを読みにきたひとの一覧です。期間は2007/6/26〜7/18まで。 "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)" "Gigabot/3.0 (http://www.gigablast.com/spider.html)" "Googlebot-Image/1.0" "JS-UZUSHIO" "Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)" "Mozilla/5.0 (compatible; Googlebot/2.1; +
