Coroを使って並行処理 - JPerl Advent Calendar 2009
こんにちわ。『層・圏・トポス』読者の会からの刺客、id:hirataraです。 「並行処理」って言葉はなんだか魅力的ですよね！ そこで、今日はCoroを使った並行処理を紹介します。なお、Coroはコアモジュールではありませんので、使ってみたい場合にはCPANからインストールして下さい。 スレッドを作る Coroでは、asyncによって新しいスレッドを作ることができます。ただし、asyncでスレッドを作っても、何もしなければ他のスレッドに勝手に処理が移ることはありません。asyncで作成した別のスレッドに制御を移すには、明示的な操作が必要となります。ここではcedeを使って、asyncブロックへ処理を移しましょう。 use strict; use warnings; use Coro; async { print "Another thread\n"; }; print "main thre
Cronを使わずに動く「全裸bot2」を作った - すぎゃーんメモ
全裸botが規制されてから、２週間。復活の兆しは見えない。 ということで、我慢しきれず全裸bot2(@zenra_bot2)というアカウントを作成した。 GAEで動かしていたヤツでそのままアカウントだけ変更して動かしてもよかったのだけど、それだけだとあまりにも能が無いかなー、と思いPerlで作り直してみた。 Twitter botというと、普通は定期的に呟いたりするので、大抵はcronとかそれと同等の機能を持つサービスなんかを利用すると思う。 今回はそれを使わずに1つのスクリプトだけで完結するよう、Coro::AnyEventを使って複数の処理を定期的に動かすようにしてみた。 http://search.cpan.org/~mlehmann/Coro-5.2/Coro/AnyEvent.pm use strict; use warnings; use Coro; use Coro::Any
おさかなラボ - Coroでより賢い非同期クローラを作る
前回のエントリでは簡単なクローラの作り方を説明した。しかしこのクローラには欠点があり、取得したいURLが何千何万とある場合、一度にhttp_getが走ってしまい、リソースを使い切ったり同じサーバーへのアクセスを待つ間にタイムアウトしたりと都合が悪かった。そこで今回はAnyEventに加えCoroを使うことにより、並列を使ってリソースへの同時アクセス制限を行うクローラの書き方を解説する。 これは前回のエントリの改良版になるので、初めてこれを読む方は当該エントリを先に読んで頂きたい。 まず、前回はAnyEventを使い、condvarとsend-recvを使ってイベントの監視をしていたが、Coroと同時に使う場合これでは都合が悪い。イベントループを回す場合、一般的にAnyEventはrecvを、Coroはjoinを使うが、これらはどちらもイベントループが終わるまでブロックするのでどちらかし
おさかなラボ - 非同期の簡単なクローラの作り方
そろそろ(いまさら)Coro+AnyEventでもやってやるか！と思って簡単な並列クローラを作ることにしたのだが、ググって出てくるサンプルを見てもいまひとつうまく動いてくれない。 で、そういえばYAPC::Asia 2009でmala.さんがAnyEvent::HTTPを使うとこんなに簡単にできるよ！と言っていたので、スライドの通りにやってみた。 use AnyEvent::HTTP; sub done { print @_; } http_get ("http://www.example.com/“, \&done); # 1 http_get (”http://www.example.com/“, \&done); # 2 http_get (”http://www.example.com/“, \&done); # 3 –mala氏 main.txtから引用。 こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
