後藤斉のホームページ、 「国内言語学関連研究機関WWWページリスト」、 「国内人文系研究機関WWWページリスト」、 「ウェブページのリンクおよびその他の利用について」、 その他後藤のウェブページのどれかに対するアクセスの HTTP_USER_AGENT の リスト。各種ブラウザ、自動巡回ツール、更新チェッカ、プリフェッチャ、 サーチエンジンのロボット(クローラー、スパイダー)等を含みます。 網羅的ではありません。偽装しているものもあるようです。 リストが1MB超に肥大化したため、別ページにしました。 参考サイト RFC2616: Hypertext Transfer Protocol -- HTTP/1.1 robotstxt.org ロボットはもうたくさん! UserAgent - UserAgentのデータベースを作りましょう ユーザエージェントを検証 (技林) USER-AGENT(