Web::Query - jQuery風にスクレイピング - tokuhirom's blog
http://frepan.org/~TOKUHIROM/Web-Query-0.01/README.pod Web::Query というスクレイピングフレームワークをかきました。一言でいうと「うごく pQuery」です。pQuery は jQuery とおなじ動きにするためかどうかしりませんが、わりと自前で実装していて、結果まともにうごいていません。うごくようになるのをまってようかなとおもっていたら2年経過していたので、自分でつくってみました(パッチをおくってもいいのだけど、別個の実装をつくったほうがはやい気がしたので)。HTML::TreeBuilder::XPath + HTML::Selector::XPath + LWP::UserAgent という構成です。 使用例は以下のとおり。 use Web::Query; wq('http://google.com/search?q=f
ニコニコ動画をスクレイピング & FLV保存するPerlモジュールを作ってみた。 (Re::Monologue)
毎日楽しくニコニコ動画を見ていたら、ランキングデータをテキストデータで取得して自分ランキングを作りたくなりました。そんなときはPerlだなーとかりかり書いていたら、なんだかモジュールっぽいものになりました。折角だから晒してみます。ツッコミ歓迎。 WWW::NicoVideo [pod] 使い方 use WWW::NicoVideo; my $n = new WWW::NicoVideo( 'mail', 'password'); # ランキング情報を取得する my $data = $n->ranking( span => 'weekly', type => 'mylist', all => 1 ); # 任意のタグ一覧情報を取得する my $data = $n->tag( word => '孔明の罠', type => 'view', all => 0, ); # 動画再生ページの情報を取
簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト - DQNEO起業日記
１３行のコードで、Yahoo!Japanのトピックス一覧を取得する！ PerlでHTML取得・解析したいときはLWP::UserAgentとHTML::TreeBuilderというのを使うと簡単にできます。 LWP::UserAgentを使うと、Webページの取得ができます。 HTML::TreeBuilderを使うと、HTMLのDOM解析ができます。 この２つのモジュールを使って、Yahoo!Japanのトピックス一覧を取得してみましょう。 コメント行と空行を除くとたったの１３行です。 use strict; use warnings; use LWP::UserAgent; use HTML::TreeBuilder; # urlを指定する my $url = 'http://www.yahoo.co.jp'; # IE8のフリをする my $user_agent = "Mozilla
駱駝の背中に乗って行こう:Perlでスクレイピング(Web::Scraperモジュール)
2009年08月05日 Perlでスクレイピング(Web::Scraperモジュール) スクレイピングとは？ 以前業務で、既存のWebページから、テーブルの値だけを抜き出して処理する、 というスクリプトを作成したことがあるのですが、必要な値だけを抜き出すというのが難しくて、かなり苦労しました。 当時は知らなかったのですが、、 ウェブサイトのデータを必要な部分だけ抽出して利用することを、スクレイピングといい, スクレイピングの技術を利用すれば、Web API やRSSが公開されていないウェブサイトからも, htmlデータから必要な部分だけ抽出して利用することが出来ます。 Perl でスクレイピングを行うには、Web::Scraper モジュールを利用すると、とても簡単です。 自力での苦労を思うと、本当に感動するほど簡潔、簡単でした！ とりあえずCPANのマニュアル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://vok.paburica.org/index.php?Perl%2FWeb%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%ABXPath%E3%82%92%E4%BD%BF%E3%81%84%E3%81%9F%E3%81%84
ゆーすけべー日記
下心で覚えるエッチな Perl - 若妻サイト「舞ワイフ」をスクレイピングしてみた - おいちゃんと呼ばれています