前回のエントリでは簡単なクローラの作り方を説明した。しかしこのクローラには欠点があり、取得したいURLが何千何万とある場合、一度にhttp_getが走ってしまい、リソースを使い切ったり同じサーバーへのアクセスを待つ間にタイムアウトしたりと都合が悪かった... 続きを読む

• kaede.to:canada
• テクノロジー

PerlAnyEvent と Coro を使って、WEB から非同期に並行ダウンロードするプログラムの習作を作ってみた。おさかなラボ - Coroでより賢い非同期クローラを作るをだいぶ参考にさせてもらっている。紹介されている非同期クローラはとてもいいのだが、自分がやろうと... 続きを読む

• d:id:unau
• テクノロジー

モダンPerlの世界へようこそ 第13回　AnyEvent：イベント駆動モジュールの方言を吸収する 2009年8月10日 石垣憲一 Perl, モダンPerl, AnyEvent 1 2 イベントループを持つモジュールが抱える問題点 イベントループを持つモジュールの一例として，前回はPOEを取り... 続きを読む

• gihyo.jp
• テクノロジー