LWPでリクエストヘッダ付 Web アクセス(proxy込) / [HTTP][perl] | 戯術者の日記
use LWP::UserAgent; use HTTP::Request; my $ua = LWP::UserAgent->new; my $req = HTTP::Request->new( GET => 'http://www.example.org/' ); $ua->agent("perl-wget"); $ua->proxy('http', 'http://proxy.example.org:8080'); $req->header( 'X-Header1' => 'hoge', 'X-Header2' => 'foobar', ); my $res = $ua->request($req); $res->as_string; // レスポンス(ヘッダ+ボディ)は $res->headers_as_string; // レスポンスヘッダ $res->content; // レ
HTML::TreeBuilder::XPath + WWW::Mechanize なスクリプトを永続化させようとしてはまった - unknownplace.org
WWW::Mechanize でコンテンツとってきて TreeBuilder::XPath で解析するようなのを今まで単機能スクリプトなどでは便利に使っていたのだけど、それを永続的なプロセスで使おうとしたらメモリ使いまくってとんでもないことになったという話。 まずどんどんメモリが増えていくのでタイミングよく読んでいたjrockwayの記事などを参考に、 perl -MDevel::Leak::Object=GLOBAL_bless 付きでスクリプトを実行してみる。 少しソースをいじってまずはループを一回で止めるようにしたときの出力 Tracked objects by class: Config 1 DBI 1 DBI::var 5 DBIx::Class::ResultSource::Table 1 DateTime::Duration 2 DateTime::Format::Build
LWP::UserAgentのタイムアウト判別 - Code::Craft
URIにアクセスできたけどエラーが返されたのか、そもそもアクセスできなかったのかを区別するのはどうすればいいのか、ということでちょっと悩まされた。 use LWP::UserAgent; my $ua = LWP::UserAgent->new; $ua->timeout(10); my $res = $ua->get($url); my $msg = ($res->is_success) ? $res->content : $res->status_line; print "$msg\n"; タイムアウトした際は、status_line()が 500 read timeout になる、というだけでした。
use WWW::Mechanize; - 今日のCPANモジュール（跡地）
宣伝と注意書き このサイトが元になったCPANモジュールガイドという本を書きました。 本書でも取り上げています。他、コラム扱いではありますが、WWW::ScripterというJavaScriptを理解するWWW::Mechanizeのサブクラスについて少し記載しました。 2007-02-18 use WWW::Mechanize; WWW::Mechanize を使うと、人間がブラウザですること （URL を開き、リンクをたどり、ID・Pass を入力、ログインボタンを押す...） を Perl にエミュレートさせることができます。略称 Mech（メック）。あまりに簡単・便利なのでなにかと悪用されることも多いモジュールです（うそです）。 Perl での HTTP 通信まわりは、LWP (libwww-perl) ファミリーが担当しており、ウェブの HTTP リクエストは LWP::User
WWW::Mechanize 覚書
概論 LWP::UserAgent のサブクラスとして実装され、LWP::UserAgent のメソッドは全部使える。 WWW::Mechanize::FAQ なんてのがある コンストラクタ my $mech = WWW::Mechanize->new() WWW::Mechanize のコンストラクタは、LWP::UserAgent のしてくれることに加えて、User-Agent to とクッキージャーを、↓のような具合にセットアップしてくれる agent => "WWW-Mechanize/#.##" cookie_jar => {} # an empty, memory-only HTTP::Cookies object ユーザーエージェントを変更するなら my $mech = WWW::Mechanize->new( agent=>"wonderbot 1.01" ); クッキーを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ