I, newbie » POEによるevent-drivenなPerlプログラミング その1
POEはevent-drivenなmultitasking frameworkです。最近では名前こそ知られてきたものの、(上級者を除くと)広く使われてはいません(ただし歴史は長いし、採用事例もたくさんあります)。なぜかというと、かなーり奥が深くて、ドキュメントが膨大で、しかもソースコードの上から順に実行される一般的なPerlプログラムと大きく異なるイベント駆動なフレームワークだからでしょう。自分も、「なんかPOEってすごいらしいよ」と耳にしてから少しずつ勉強していたんですが、どーも理解が進まなくて苦労しました。そんな最初のハードルを低くするような文書が欲しかったので、書いてみることにします。 POEは、event-drivenなプログラムに最適です。event-drivenなプログラムとは、何らかのイベントが起きたらなんらかの処理をする、そういうプログラムです。例えば、GUIアプリケーショ
LWP::UserAgent + POE::Filter::Line で行ベース処理 - naoyaのはてなダイアリー
#!/usr/bin/env perl use strict; use warnings; use LWP::UserAgent; use POE::Filter::Line; my $filter = POE::Filter::Line->new; my $ua = LWP::UserAgent->new; ## POE::Filter::Line で $chunk を行入力に変換 $ua->get( 'http://d.hatena.ne.jp/naoya/', ':content_cb' => sub { my $chunk = shift; my $lines = $filter->get([ $chunk ]); for (@$lines) { print "got: $_\n"; } } ); POE::Filter は単独で使うことができます。LWP のコールバックと組み合わ
仙石浩明の日記: Perl の非同期I/Oモジュール POE を使って VPN-Warp relayagent を書いてみました
多数の TCP/IP セッションを同時に維持する必要性などから、 非同期I/O が最近流行りのようです。 何をいまさら、という気もするのですが、 いわゆる「最新技術」の多くが 30年前の技術の焼き直しに過ぎない今日このごろなので、 非同期I/O 技術が「再発見」されるのも、 「歴史は繰り返す」の一環なのでしょう。 スレッドが当たり前の時代になってからコンピュータ技術を学んだ人にとっては、 (古めかしい) 非同期I/O が新鮮に映るのかも知れず、 なんだか「ファッションのリバイバル」に似ていますね。 Perl で非同期I/O 処理を手軽に行なうための枠組みとして、 POE: Perl Object Environment というものが あるようです。 POE を使うと、 あたかもスレッドを使っているような手軽さでプログラミングできます。 試しに VPN-Warp の relayagent を
inetd の仕組みを見てみる - naoyaのはてなダイアリー
inetd や xinetd (以下 inetd) はインターネットサービスをデーモン化するのに共通している処理を担い、ほとんどの時間をアイドル状態で過ごすその手のサービスに必要なリソースを節約する役割を果たします。 inetd のひとつ面白いところは、inetd でサービス化したいプログラムの標準入力/標準出力がクライアントソケットの入出力に接続されるところです。例えば daytime 相当のサービスを自分で作ろうと思った場合 #!/usr/local/bin/perl # daytime.pl use strict; use warnings; use DateTime; use IO::Handle; STDOUT->autoflush(1); STDOUT->printf( "%s\n", DateTime->now(time_zone => 'Asia/Tokyo') ); と標
非同期メッセージングを実現するPOE::Component::MessageQueue を試してみた : no hacking, no life
非同期のメッセージングができるソフトウェアを探してたら、PerlでPOE::Component::MessageQueueというモジュールにあったので使ってみた。検索してもcpan以外のドキュメントが見当たらなかったので、ソース読んだりで使い方を調べてみたので簡単に紹介します。間違ってたり、もっと正しい使い方があったらコメント頂けると助かります。 概要 POE::Component::MessageQueueは、メッセージキューをPOE上に構築して非同期メッセージングを実現したperlモジュールであり、キューへの入出力はメッセージングに特化した(TCP上の)STOMPというプロトコルで行います。詳しくはcpanを参照してください。STOMPについては、この辺に書いてあります。 インストール インストールはこれだけ。 sudo perl -MCPAN -e 'install POE::Com
非同期で流したクエリをほげほげするPoCo - D-6 [相変わらず根無し]
非同期で流したクエリをほげほげするPoCo 少しずつ条件が違うクエリを複数非同期で投げて、集約するモジュールを書いてみたんだけど、名前とかがイマイチ決まらない。なんかいいアイデアありますかねぇ。それともこれって使う条件が特殊すぎてモジュールにするにはアレかな。一応これをベースにして、PoCo::Server::TCPみたいなのとつなげて検索サーバーにしたてあげようと思ってるんだけど。 使い方はこんな感じ # initialize... POE::Component::MultiDB::DBIC->spawn( Alias => $alias, ConnectInfo => [ .... ], SchemaClass => 'MyApp::Schema' ); # some where else... $_[KERNEL]->post( $alias, 'search_multi', { a
Kazuho@Cybozu Labs: Perl から MySQL に非同期アクセスする方法
« サーバシグニチャは隠さないのが当たり前 | メイン | swifty-0.02 と Perl バインディング » 2007年09月10日 Perl から MySQL に非同期アクセスする方法 mod_perl のプロセス内でやるのに POE でイベントループ回せ、ということ? もうちょいｋｗｓｋ！ > b:id:kazuhooku naoyaグループ - naoyaの日記 - 非同期SQLサーバ エントリ全体の趣旨はさておき、ソケット通信を非同期化するためにまた別のソケット通信を行うという使用例に違和感を覚えたのですが、回避策としてブクマコメントで提示した POE::Component::EasyDBI も内部で fork (&プロセス間通信) してるんですね。変なコメントしてごめんなさい忘れてください。って、それだけではなんなので... ここから本題。 私はそういうケースに遭遇したこ
Kazuho@Cybozu Labs: Perl で並列処理 (using マルチプロセス)
« DBI::Printf - A Yet Another Prepared Statement | メイン | DBIx::Printf と LIKE 式 » 2007年10月02日 Perl で並列処理 (using マルチプロセス) Shibuya.pm で牧さんが Gungho の話をされたそうで、スライドを拝見しました。Pathtraq への言及もあってうれしい。 で、スライドを読んでいて、HTTP アクセスと HTML 解析／保存処理を分離すべき、となっている点が気になりました。実は Pathtraq (のうち奥が書いている部分) では、Gungho と HTML の解析／保存処理を分離することはしていません。そのかわり、複数のワーカープロセスを駆動することで、スループットを確保しています。分離モデルとマルチプロセスモデル、どちらの手法を採るべきかは、解析／保存処理の重さやエラ
MDBAの使い方（目指しているもの） - D-6 [相変わらず根無し]
MDBAの使い方（目指しているもの） POE::Component::MDBAは速いのか？ 相変わらずベンチは取ってないよ！でも同時に＊任意の＊SQLを実行できるのは絶対的に速い自信がある。例えば１テーブルに対しての分散はそんなに意味なくても、table1とtable2にそれぞれ別のクエリを投げるような事ってよくあるじゃないですか。 例えばWebページに載せるデータを複数の場所から取ってくる。これは分かりやすい。 あとはテーブルを分散している場合。例えば、日付で分散してるとか。同じスキーマでtable_200710、table_200709、table_200708とかでわかれてるとして、それぞれに対して横断的にSQLを投げたい。この場合、SELECT ... UNION SELECT ... UNION SELECT ...とかやるより、それぞれに別のクエリを発行して必要分だけアグレゲー
YappoLogs: GunghoっていうWebクロウラーたんの件
GunghoっていうWebクロウラーたんの件 なんか男前そうなクロウラーたんを発見したお 資料はhttp://www.slideshare.net/lestrrat/gungho-swarmage-pocomdba/を見るべし。 ちなみに、これ書くのに使ったGunghoはVersion 0.09001 のCPANの。 概要 GunghoはPlaggerっぽいwebクロウラーたんです。なのでGunghoの名前空間以下にあるモジュールとかを個別に使おうとしたら大変です。 Gunghoのアーキテクチャにそった一本道な動作をさせるのがいいはず。 設定はConfig::Any使ってるので、色んな形式のを使えます。 Providerにより収集URLを取得し、EngineがHTTPでコンテンツを取得し、Handlerで取得したコンテンツを処理します。 Provider,Engine,Handlerは、そ
Kazuho@Cybozu Labs: メッセージキュー事始め in Perl - コマンドラインクライアントを作ってみた
« MySQL のウォームアップ (InnoDB編) | メイン | Re: for 文を setTimeout に変換する » 2007年11月07日 メッセージキュー事始め in Perl - コマンドラインクライアントを作ってみた メッセージキューの勉強をかねて STOMP のコマンドラインクライアントを書いてみました。STOMP だから ActiveMQ とも通信可能だろうし、動作確認やテスト用のスタブ作成などに使えるはず。ソースはこちら: stompy 1. メッセージキューを起動 (POE::Component::MessageQueue を使用) % /usr/bin/mq.pl --data-dir /tmp/mq 2. キューに書き込み % echo 'hello 1' | ./stompy --destination=/queue/test % echo 'hello
101号室: [perl][POE] POEで簡単なチャットサーバーを作る
POE::Component::Server::TCPをつかったサーバー習作。 やることは １．ClientConnectedでクライアントのオブジェクト($heap->{client})を%clientsに入れる。 ２．ClientInputがきたら%clientsにあるクライアントすべてに送信。 ３．ClientDisconnectedで切れたクライアントのオブジェクトを%clientsから削除。 これだけでtelnetで繋いで会話するだけのサーバーが作れる。 空行含んでも60行足らずで書けた。POE便利杉 #!/usr/bin/perl use strict; use warnings; use POE qw(Component::Server::TCP); my %clients; # ID => clientオブジェクト my $acceptor_session_id
和時計を作ってみた - file-glob こと k.daibaの日記
DateTime::Spanを使ったcronプログラミング 今回は和時計を作ってみました．日の出，日の入りの時間を計算していて，それぞれ明け六ツ，暮れ六ツとなるすぐれものです．正午（しょううま）が12時じゃなかったり，丑三つ時がホントに午前2時ごろだったり，followしていると不思議な感じがします．それはともかく，今回はこのスクリプトの構成について… 繰り返し実行するスクリプト 以前，hinetmaniaを作った時にも思ったんですが，何かのアルゴリズムに従って不定期な時間間隔で処理を繰り返すしくみってのがなかなか見つかりません．定期的な実行ならcronでいいんだけどな，と思いながらPoCo::Cronを見ていたら，「"DateTime::Set iteretor"で定義されたスケジュールに基づいてクライアントにイベントを送ると書いてある」のに気がつきました．そこでDateTime::Se
ダウンロードたけし（寅年）の日記 - POEでログをtailするComet
今更ながら、perl(POE)でCometっぽいものを書いてみようと思い挑戦してみました。 「Cometと言えばチャット」というくらい、サンプルや例題のほとんどがチャット関連のネタばかりなので、あえてそういう類いのものではなく、もっと地味なネタでせめてみようと思います。 ズバリ、ログ監視です。 「アクセスログをちょっと確認するだけなのに、いちいちコンソールから入ってtail -fするのが面倒」というズボラなひとに向けです。 まず要点を整理しておきますと、 ブラウザからログ監視をする ログ監視のON/OFFはブラウザから操作可能 Cometの方式はLong-Pollモデルを採用 サーバ側の実装は POE::Component::Server::HTTP と Wheel::FollowTail がメイン クライアント側はjavascript（Mini Ajax）を使って実装 です。 色々なbl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
POE-Component-Supervisor-0.09 - Erlang-inspired babysitting - metacpan.org
MooseX-POE-0.215 - The Illicit Love Child of Moose and POE - metacpan.org
naoya.dyndns.org is offline
BlogSurfのRSS取得プログラムをPOEで書き直す。 : blog.nomadscafe.jp
POE-Declarative-0.09 - write POE applications without the mess - metacpan.org
オーニソプターズ