オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Webクローリング＆スクレイピングの最前線 公開用
2. about me • 杉浦 隆幸 • ネットエージェント株式会社 代表取締役 • PacketBlackHole, OnePointWall, 防人, secroidの原開発者 • CTFチャレンジジャパン 経済産業省主催のCTF(ハッキングの技術 大会）優勝メンバー (Agent IV) • Winnyの暗号解読に初めに成功 • TVニュース番組での事件解説多数 • 第４回 IPA賞受賞 • 2010年に政府の情報保全検討委員 • など 2 3. Agenda • クローリング • 概要・リスク・レベル・対策・対策の対策 • スクレイピング • 環境・実例 • 応用例 • secroid • easy webscrap • zip de kure • P2P 公開用は一部情報を削減しています。 3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
