オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
marnica. LibXML-Rubyメモ。
REXMLが遅いのでLibXML-rubyを使うことになった。 ・LibXML Ruby Project：http://libxml.rubyforge.org/ ・ドキュメント：http://libxml.rubyforge.org/rdoc/index.html ■インストール # gem install libxml-ruby ---2008/08/22 追記 ※libxml自体の開発ツールだかなにかが入っていないとインストールできないらしい。 # yum install libxml-devel --- ■使い方 ・Parse require 'rubygems' require 'xml/libxml' # atomfeedがこんな感じだったとする↓ str='名前空間URL' ns = [ 'atom'=>'http://www.w3.org/2005/Atom', 'os'=
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
