LWP::UserAgent + POE::Filter::Line で行ベース処理 - naoyaのはてなダイアリー
#!/usr/bin/env perl use strict; use warnings; use LWP::UserAgent; use POE::Filter::Line; my $filter = POE::Filter::Line->new; my $ua = LWP::UserAgent->new; ## POE::Filter::Line で $chunk を行入力に変換 $ua->get( 'http://d.hatena.ne.jp/naoya/', ':content_cb' => sub { my $chunk = shift; my $lines = $filter->get([ $chunk ]); for (@$lines) { print "got: $_\n"; } } ); POE::Filter は単独で使うことができます。LWP のコールバックと組み合わ
Xango and crawler - odz buffer
クローラを作る必要に迫られているので、Crawler Framework の Xangoや、crawlerを試してみたり。 POEを全然使ったことがないせいか、Xangoのほうは最初付属のPODを呼んでも全然分かんなかったんだけど、そこは Plagger::Plugin::Aggregator::Xango とか、t/02-pull.t と t/lib/XangoTest/SimplePull/{Broker,Handler}.pm あたりを読んでがんばる。ていうか POD の SYNOPSYS にすぐ動くサンプルを書いていてほしいと思ったり。あと、公式サイトに書いてある svn://svn.razil.jp/Xango/trunk って SVN レポジトリがアクセスできないけど http://svn.razil.jp/Xango/trunk ならアクセスできる罠。まぁ、最終的には CPA
POEクローラが固まる - 豊田正史のSLとは関係ございません(2006-01-21)
_ [開発] POEクローラが固まる 趣味で書いているPOE版簡易クローラだが、ある程度動かすとPOE内部で無限ループに落ちてしまうようだ。再現したりしなかったりで、どうも原因が特定できない。Xango使ってクローラ書いている人(YappoLogs: 大晦日だからXangoをhackる)もそんなことを書いているので、POEに何か問題があるのかもしれない。でもPOEの内部は訳がわからないんだよなあ。 (追記)特定のURLで固まることを突き止めた。wgetでは普通に404が返ってくるのだが、なぜかPOE::Component::Client::HTTPでは固まる。原因は中を深く追わないと分からなそうだ。うーむ。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
