2008-01-21
前回記事 Web::Scraperを使ってみた - ragutarouの日記 の発展形。 "see more"というリンクがなくなるまでリンクを辿りデータを取得していく。 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use WWW::Mechanize; use URI; use YAML; my $url = new URI('http://cdbaby.com/top/223'); my $mech = new WWW::Mechanize; $mech->add_header(Connection => 'keep-alive'); $mech->get($url) or die $!; # Scrape my $scraper = scraper { process 'div.albumbox>h3>a',
HTML::TreeBuilder::XPathを使ってみた。 - Shohei Yoshida's Diary
XPathを知りたくてというか実践したくて使ってみた。 返り値となるオブジェクトがいろいろとでてきてわからないが、 そんなときは refとか isaで型をチェックして、ドキュメントを見て ということを繰り返せばなんとかなる。 以下毎度お馴染みのサンプルです。ファイル取得の部分も入れてみた。 #!/usr/bin/perl use strict; use warnings; use HTML::TreeBuilder::XPath; use LWP::Simple; use LWP::UserAgent; use File::Basename; use Time::HiRes; my $url = shift @ARGV or die "usage builder_xpath.pl url\n"; my $tree = HTML::TreeBuilder::XPath->new(); $tr
Robots.txt Checker
robots.txt checker This tool validates /robots.txt files according to the robots exclusion de-facto standard. Checks are done considering the original 1994 document A Standard for Robot Exclusion, the 1997 Internet Draft specification A Method for Web Robots Control and nonstandard extensions that have emerged over the years. The robots.txt validator checks the syntax and structure of the document
WWW::Mechanize-1.66と文字コード - Pixel Pedals of Tomakomai
最近、LWPやWWW::Mechanizeを2007年頃のバージョンから最新のバージョンにしたら、文字コードで色々ハマったのでメモっておきます。 結論から言えば、最新のLWPやWWW::MechanizeはUnicode文字列を適切に扱えますので、以下を心得て使うとハマりどころが少ないかなと思います。 LWP-5.837 $ua->decoded_contentはUnicode文字列*1 Content-Typeでの指定やMETAタグの指定から推測してくれる $ua->content はバイト列 ただし、$ua->contentはContent-Encoding(俗にいうgzip圧縮)の展開をしないので、decoded_contentが無難 WWW-Mechanize-1.66 $mech->content は $ua->decoded_content つまり、Unicode文字列 $me
できたー！！WWW-Mechanize文字化け対応（浅い方の解決策） - Perl楽しいから好き
以前、ハマっていたWWW::Mechanizeの文字化け 半月以上の月日を経て、やっと解決しました。 （とりあえず簡単な方で） このURLが同じ問題かと思われます。 と、 親切なk-z-hさんから、的確なアドヴァイスをいただいていたんですが、 当時の私は、オブジェクトの「お」の字も知らず、ソースコードを眺めて萎えてしまっていました。 しかーし！ 「このままでは終わらせじ！板垣死すとも自由は死せず！（意味不明）」 という思いで 「すぐわかる オブジェクト指向 Perl」や「続・初めてのPerl 改訂版」を読み漁り、久しぶりに試してみたのですよ。 したら、できたのです。 こっちのやり方ですが↓ WWW::MechanizeでShift-JISとかのフォームを送信する方法 HTML::Formモジュールの $form->accept_charset( $new_accept ) This met
WWW::Mechanize::Examples - WWW::Mechanizeを使用するサンプルプログラム - perldoc.jp
名前¶ WWW::Mechanize::Examples - WWW::Mechanizeを使用するサンプルプログラム 概要¶ たくさんの人たちがWWW::Mechanizeについて学んできましたし、今もそうして いますし、あなたもそうすることができます！ 以下はこの活動を通してユーザーが提供してくれたWWW::Mechanizeのサンプル です。もしあなたがサンプルを持っており、寄付しようと思ってくれたら、 <andy@petdance.com> にメールを送ってください。 ディストリビューション中のt/*.tファイルも見てみると良いでしょう。 これらの例は、何か特定のタスクをこなすことを意図していないことは覚えて おいてください。私の知る限りでは、これらがアクセスするサイトのほうの 変更によりこれらはそれほど長い期間は機能しません。彼らは、みんなが どうWWW::Mechanizeを使
スクレイピングツールを使って自動化テスト：WWW::Mechanizeの利用｜アークウェブのブログ
SEの進地です。 スクレイピング（Scraping）とはWebページを取得し、タグを解析し、必要な情報を抽出して利用すること、およびその技術です。こうしたスクレイピングを支援するツールはRSSやWebサービスAPIを提供していないサイトの情報も組み合わせてマッシュアップするWeb 2.0ライクなサービスの構築にも利用できますが、自動化テスト用のツールとしても非常に優秀です。 今回は強力なスクレイピングツールの一つであるWWW::Mechanize（mechと呼称されることもあり）を使ったWebシステムの自動化テスト技法について書いていきます。 WWW::Mechanizeの利用環境 WWW::Mechanizeは元々はPerlのモジュールとしてCPAN（http://www.cpan.org/）で配布されていましたが、現在ではRuby、Pythonにもモジュールが提供され、利用できるように
WWW::Mechanize - Perlオブジェクト中のハンディWebブラウザ - perldoc.jp
名前¶ WWW::Mechanize - Perlオブジェクト中のハンディWebブラウザ VERSION¶ Version 1.02 $Header$ 概要¶ WWW::Mechanize、あるいは縮めてMechはWebサイトとのやりとりの自動化を 助けます。これはリンク先やフォームデータの送信を含む、複数のページの取得を サポートします。取得したページはそれぞれ解析され、そのリンクやフォームが 抽出されます。リンクやフォームを選択し、フォームを埋め、次のページを取得 することが可能です。Mechは訪れたURLの履歴を保持しますので、これを問い あわせたり再訪することも可能です。 use WWW::Mechanize; my $mech = WWW::Mechanize->new(); $mech->get( $url ); $mech->follow_link( n => 3 ); $m
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
公共工事条件付一般競争入札公告
pdfファイルをダウンロードして、テキストファイルに変換 - Vine Linux 4.1 + CentOS 5.1の備忘録
2010-06-03 - id:k-z-h
Diaspar Journal: WWW::Mechanize による Webアクセスの自動化
今日のCPANモジュール（跡地） 目次