HTML::TreeBuilder のメソッドを覚えるには人生はみじかすぎる件について - tokuhirom's blog
HTML::TreeBuilder の ->lookup だの ->find だのを覚えるのは、学習の効率がよくない。つぶしがきかないので、もっと一般的な CSS Selector や XPath などを覚えて、それをつかった方がお得であるといえる。 HTML::TreeBuilder で XPath を利用するには、HTML::TreeBuilder::XPath をインストールすればよく、これは pure perl なので容易に利用できる。 my $tree = HTML::TreeBuilder::XPath->new; $tree->parse($content); my @items = $tree->findnodes(q{//*[@id='topicsfb']//li}); print $_->as_text."\n" for @items; とすればよい。 XPath はむ
たった＊行のコードでHTML取得＆解析をしたい場合はWeb::Scraperが便利 - 酒日記 はてな支店
なんか無茶振りされたので。 簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト を Web::Scraper というモジュールを使って書き直すと、こんな感じになります。 use strict; use Web::Scraper; use LWP::UserAgent; use Encode; my $scraper = scraper { process "#topicsfb li" => "topics[]" => "TEXT"; }; $scraper->user_agent( LWP::UserAgent->new( agent => "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" ) ); my $result = $scraper->scrape( URI->new("http
簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト - DQNEO起業日記
１３行のコードで、Yahoo!Japanのトピックス一覧を取得する！ PerlでHTML取得・解析したいときはLWP::UserAgentとHTML::TreeBuilderというのを使うと簡単にできます。 LWP::UserAgentを使うと、Webページの取得ができます。 HTML::TreeBuilderを使うと、HTMLのDOM解析ができます。 この２つのモジュールを使って、Yahoo!Japanのトピックス一覧を取得してみましょう。 コメント行と空行を除くとたったの１３行です。 use strict; use warnings; use LWP::UserAgent; use HTML::TreeBuilder; # urlを指定する my $url = 'http://www.yahoo.co.jp'; # IE8のフリをする my $user_agent = "Mozilla
駱駝の背中に乗って行こう:Perlでスクレイピング(Web::Scraperモジュール)
2009年08月05日 Perlでスクレイピング(Web::Scraperモジュール) スクレイピングとは？ 以前業務で、既存のWebページから、テーブルの値だけを抜き出して処理する、 というスクリプトを作成したことがあるのですが、必要な値だけを抜き出すというのが難しくて、かなり苦労しました。 当時は知らなかったのですが、、 ウェブサイトのデータを必要な部分だけ抽出して利用することを、スクレイピングといい, スクレイピングの技術を利用すれば、Web API やRSSが公開されていないウェブサイトからも, htmlデータから必要な部分だけ抽出して利用することが出来ます。 Perl でスクレイピングを行うには、Web::Scraper モジュールを利用すると、とても簡単です。 自力での苦労を思うと、本当に感動するほど簡潔、簡単でした！ とりあえずCPANのマニュアル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
