タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

crawlerに関するjir_oのブックマーク (1)

  • Steeler について

    Steeler とは Steeler は 東京大学 喜連川研究室 で運用している Web クローラ (ロボット), すなわち自動的に Web 上のページを渡り歩くソフトウェアです. Web サイトのアクセスログに, Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/) のような文字列が含まれるか, アクセス元の IP アドレスが, の範囲にある場合, Steeler によるアクセスであることを示しています. 当研究室では Web 上に公開された文書を可能な範囲で収集し, 様々な社会現象の分析に活用することを目的としています. もし, Steeler のアクセスがサイト運営に支障を来すようでしたら, 下記の方法で ロボット除け の設定をして頂くか, 当方までご連絡 下さい. ご協力よ

    jir_o
    jir_o 2015/09/26
    こんなのあるのか/喜連川先生の名前が出てくるとは思わんかったw
  • 1