オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
サイトのスクレイピングを自動化する - Think Big Act Local
以前のエントリで、RubyのNokogiriライブラリを使ったスクレイピングのやり方を紹介しました。 RubyのNokogiriを使ってサイトをスクレイピングする しかし、前回の方法では$ ruby scrape.rb http://eiga.com/movie/55975/ という様に一つひとつURLを指定しなければならず不便です。 そこで今回は前回のコードを拡張し、スクレイピングの自動化に挑戦します。 考え方 「自動化」というと難しい気がしますが、スクレイピングするURL（http://eiga.com/movie/55975/）の内、映画のidにあたる55975の部分を順に変化させていくことを今回のゴールとします。 ステップとしては2つで、 前回のコードを拡張し、存在しないURLへのアクセス時のエラー対応を実装 1のコードを別スクリプトから呼び出す という流れになるかと思います。 1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
