あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
橋本商会 » いかにしておっぱい画像をダウンロードするか〜2012 をRubyで書いた
元ネタ：いかにしておっぱい画像をダウンロードするか〜2012 – ゆーすけべー日記 昔、yusukebeさんとは大学で同じ研究室だった。 俺がまともにプログラムを書けるようになったのは、研究室に入った時に新入生向けのyusukebeサブゼミに入って、Flashで実装されたRSSリーダーのソースコードを見せてもらったあたりがきっかけだった気がする。 俺も高校生が（Rubyで）プログラミングをはじめるきっかけになりたいので、Ruby版を作ってみました。 Rubyもこういうwebクローラーを作るのに向いている言語だし、最近のMacなんかには最初からインストールされているので試してみると良いよ。 まずjson gemをインストールする。 sudo gem install json oppai.rb #!/usr/bin/env ruby require 'rubygems' require 'op
2ちゃんねるBOTの作り方 準備編 - GIOの日記
アホな話 2ch画像まとめというウェブサービスをご存知でしょうか。 クロール？スパイダリング？スクレイピング？いわゆるBOTが2chに書き込まれた画像を取得し、 まとめて見れるようにしたサイトなのですが、今日、次の記事を見つけた。 http://www.oshiete-kun.net/archives/2009/02/2chdl.html アホすぎる。クローラのクローラなんて。。 しかも、2ch画像まとめで見れる画像は全てWeb用に縮小した画像です。 ダウンロードするようなコレクターはオリジナルをダウンロードしたほうが良いですよ。 ということでBOTつくりましょう。 前知識 まずはコードを書く前に2chのしくみを簡単に。 2chはスレッド型掲示板の集合であり、全ての掲示板は次のHTMLファイルに一覧されてます http://menu.2ch.net/bbsmenu.htmlたとえばニュー速
rubyでhtmlを解析 (マルッと！)
RubyのHTMLを解析するパーサはいろいろありますが、今回は hpricot を使ってみました。 gemでインストールできるので簡単。 サンプル。 require 'rubygems' require 'hpricot' doc = Hpricot(%{<a class=l href="hogehoge">bar</a>baz}) doc.search("a").map {|i| [ i['href'], i.inner_html ] } #=> [["hogehoge", "bar"], ["foo", "baz"]] HTMLページの読み込み doc = Hpricot("<p>A simple <b>test</b> string.</p>") open-uriを使えばこんな風にURL先のHTMLを取得できます。 require 'open-uri' doc = Hpricot(o
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Ruby言語で書いたクローラー
とある不動産投資物件のデータをクロールするために 作ったクローラ 備忘録として残しておく。 Ruby習いたてで書いたので色々修正するところもありそう。 #! ruby -Ks # ○○○サイトクローラー # # 利用方法：コマンドラインより実施 # ruby site_crawler.rb 引数1 # # 引数1:なし →Typeのすべてを取得 # 引数1:種別名称 →Typeに一致するものだけを取得 # 例） ruby site_crawler.rb 投資用マンション ##投資用マンションのみ取得 # 例） ruby site_crawler.rb ##すべて取得 # # 出力されるCSVは、Shift-JIS タブ区切り 改行コード:CRFL require 'rubygems' require 'mechanize' requ
rubyでクローラーを書いてみた - 山羊の頭の日記
２ちゃんねるのスレッド（dat落ち含む）タイトルを取得する。 #!/usr/bin/ruby -KU -w require 'net/http' require 'kconv' def getfile(url) content='' begin res = Net::HTTP.get_response(URI.parse(url)) if res.code == '200' content=res.body.toutf8 end rescue end content end def scanhref(url,re) getfile(url).scan(re) end scanhref( 'http://menu.2ch.net/bbstable.html', /<A HREF=(http\S+).*?>(.+?)<\/A>/ ).each do |url, title| scanhref(
jamboree.jp - jamboree リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
EventMachineを使ったクローラの書き方の足がかり
Photo by pnoeric いま、PhotoShareで使うために、高速なEvent Driven方式のネットワークライブラリ、EventMachineを調べています。 このEventMachine、ほとんどの場合はサーバを作るときに使われていますが、HTTPクライアントの機能も実装されており、実はクローラの様な物を作るときにも利用することができます。 今回はこっちを使いたかったのですが、ググってもほとんど情報が出てこなかったので、Seattle.rbで相談したところ、Aaronさん(RubyKaigi 2008でプレゼンしているのをustで見てコンタクトしました)からサンプルが貰えたので、それを元に、同時接続する様にしてみました。 このコードだけだと役には立ちませんが、情報が少なかったので参考に上げておきます。 require 'rubygems' require 'eventma
83's : RubyのURIライブラリがクローラに最適過ぎる件
URI#+が賢いって話を以前書いたんだけど、 さらにこんな振る舞いをすることをさっき知った。 uri = URI.parse('http://fg-180.katamayu.net') (uri + 'http://twitter.com/yazu').to_s #=> "http://twitter.com/yazu" ところで、//a/@hrefをぶっこ抜くと大体 /abc/def.html ghi.html ../jkl.html http://mno.pqr.com という感じで形式がばらけてるんだけど、 今いるページのURIと+するだけでこれがキレイになってしまう。 current_uri = URI.parse('http://example.com/123/') (current_uri + '/abc/def.html').to_s #=> "http://example.
Rubyでクローラー - BitArts Blog
リンクだけじゃなく、フォーム、イメージ、フレームまでがっつり収集してくれるクローラーが欲しかったんだけどwgetではできないようなので自作することにした。 フォームのフィールドを集めたりするの、ちょっと大変そうだな。。と思ったんだけど、WWW::Mechanizeというライブラリを使ったら超簡単だった。ビバMechanize！ require "rubygems" require "mechanize" class CrawlerListener def notify_begin end def pre_request end def notify_response(result) puts %Q{#{result[:method]} #{result[:uri]} #{result[:query] ? result[:query].inspect : ""}} end def post_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
%3Druby%25E3%2581%25A7%25E3%2581%25A4%25E3%2581%258F%25E3%2582%258B%26srt%3Drank%26vl(1UI0)%3Dcontains%26frbg%3D%26tab%3Ddefault_)
KOSMOS - 慶應義塾大学メディアセンター