[B! ruby][Ruby][web_crawler] atomicmapのブックマーク

atomicmap id:atomicmap

rubyとRubyとweb_crawlerに関するatomicmapのブックマーク (2)

オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。ちなみにnokogi
atomicmap 2011/04/11
web_crawler

ruby
リンク
Anemoneというクローラーフレームワークを使ってみる
cles::blog 平常心是道 blogs: cles::blog NP_cles() « IE6からの乗り換えを促すドラクエ風flash :: 2009年分の確定申告スタート！ » 2010/02/15 Anemoneというクローラーフレームワークを使ってみる ruby scrape 140 0へぇこれまでクローラー使い捨てのクローラーは結構力業で作ってきたのですが、さすがにこういうことをやり始めてから1年以上が経ちこのままでは立ちゆかない事がいろいろと顕在化してきたので、クローラーを作るためのフレームワークをいろいろ調べていました。 JavaであればLuceneのサブプロジェクトであるNutchや、Seasarプロジェクトで開発されているS2Robot、PerlであればGunghoあたりに興味があるのですが、後処理の部分はRubyで書いてしまってあるので今回はAnemoneとい
atomicmap 2011/04/11
web_crawler

ruby
リンク
1