Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
JavaScriptバリバリのページをスクレイピングする
cles::blog 平常心是道 blogs: cles::blog NP_cles() « iL CHIANTI (ディナー編) :: BarracudaのDNSBLサービス » 2008/12/21 JavaScriptバリバリのページをスクレイピングする ruby scrape 77 4へぇ 普段ウェブのスクレイピングにはWWW::Mechanizeを使っています。WWW::MechanizeはJavaScriptが解釈できないので、これまでは自分でJavaScriptを解釈してプログラミングをしていたのですが、スクレイピングの妨害のためなのか何なのかは良くわかりませんが、尋常じゃない程のJavaScriptを解釈しなければならないページにぶち当たってしまって、この一週間途方に暮れていました。 いろいろ調べた結果、IEやFirefoxを外部から操作する方法が一番早いようなので、R
Ruby Mechanize wiki (ja) - livedoor Wiki（ウィキ）
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 トップページ 最終更新： kitamomonga 2010年08月24日(火) 14:48:32履歴 Tweet Ruby の Mechanize のクラスとメソッドのせつめいの Wiki 自作外部リンク RubyのMechanizeを解説 for 1.0.0 インストールとか使い始めさん用のせつめいとかあります Wiki だけど編集は管理人のみです きゃっほー 現在 Mechanize 1.0.0 の通常使用範囲のクラスとメソッドをそれなりに書いた時点で力尽きましたです 管理は kitamomonga が行っております ブログはこちら http://d.hatena.ne.jp/kitamomonga/ 指摘連絡は今のところ手段がないので念力やテ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyでSeleniumを使ってスクレイピング - Qiita
http://chikura.fprog.com/index.php?UID=1208233725
