Coroで効率良くスクレイピング – taichino.com
スクレイピング処理をしていると大量のリクエストを発行する事が多いので、サーバの応答待ち時間がもったいないと感じていたのですが、最近巷でよく目にするCoroというモジュールを調べてみた所、非同期処理が割と簡単に書けるという事で試してみました。 以下では複数のURLに対してCoroを使って非同期でリクエストを投げる関数と、一つ一つリクエストを処理していく関数で、申し訳程度ですが比較ベンチマークを取っています。基本的にはasyncブロックの中に書いた処理が非同期になります。この例で注意するのはasyncブロック内のgetを非同期的に動かす為にCoro::LWPをuseしないと駄目だと言う事です。 #!/usr/bin/perl use strict; use warnings; use Perl6::Say; use Benchmark qw(timethese cmpthese); use L
Coro::AnyEventでフロントエンドをコールバックを使わずに書く - Pixel Pedals of Tomakomai
Coro::AnyEventを使うと、継続渡しスタイルを使わずに非同期を書くことができます*1。 ということで、試しにやってみました。 最初にまとめ AnyEventの層を作り、その上にCoroの層を重ねて、フロントエンドからはCoroの層だけ使うとわかりやすいアプリができるんじゃないかなあと思います。 (0) AnyEventのAPIを作る まず、AnyEventでフロントエンドのための材料を作ります。頑張ってコールバックを使って非同期処理を書いて下さい。名前空間はAnyEvent::的な何かにするといいと思います。また、たぶんこの段階ではまだCoro::AnyEventは使わない方が無難です。ピュアAnyEventの方が使い回しが効きますし。 ここでは、AnyEvent::HTTPを題材にします。バックエンドとしてすでにAnyEvent::HTTPは使えるものとします。 (1) Cor
perl - AnyEventで超速分散ダウンローダー : 404 Blog Not Found
2010年08月12日09:45 カテゴリLightweight Languages perl - AnyEventで超速分散ダウンローダー これ見てたらついムラムラと。 Perl 非同期プログラミング 初出2010.08.11; 08.12 追記time perl mirrorget.pl cpan.yml http://www.cpan.org/src/perl-5.12.1.tar.bz2 # Stage 0: checking headers Elapsed: 0.358819961547852 sec. Last-Modified: Sun, 16 May 2010 22:40:16 GMT Content-Length: 12296076 URLs: http://ftp.ring.gr.jp/pub/lang/perl/CPAN/src/perl-5.12.1.tar.bz2
AnyEvent::Intro チョー訳 その２ - download_takeshi’s diary
チョー訳その２です。今回はCondition Variablesとmain loop、それとTimer関連の説明部分を訳します。 前回の区切りの場所がイマイチ悪かったんですが、今回のところまでで「Introduction to Event-Based Programming」のパートが終わります。 なお部分的にかなり意訳、というか勝手な解釈で訳している箇所もあります。概ね合っているとは思いますが、こまかい部分では間違った表現もあるような気がしてます。 より正確に勉強したい人は原文を眺めながらチョー訳をご覧下さいませ。 原文はこちら http://search.cpan.org/~mlehmann/AnyEvent-5.2/lib/AnyEvent/Intro.pod#Condition_Variables それでは訳して行きましょう！ Condition Variables（状態変数） I
面白ラボBM11(ブッコミイレブン) 2009: AnyEvent用便利モジュール3本パック
Perl で非同期なイベントベースアプリケーションの開発をしようとした場合、これまでは POE を使用するのが一般的でした。 しかし最近ではこの POE に代わり、AnyEvent というフレームワークの人気が急速に高まっています。 AnyEvent は POE と比べて綺麗にコーディングすることができるイベントベースプログラミングのフレームワークというだけでなく、Coroなどと組み合わせることでより高レベルな非同期アプリケーションを書くことも可能であるといったことが人気の理由なのかもしれません。 さて、今回は弊社内部で使用するために開発した AnyEvent モジュールを三本セットで公開します。 1. AnyEvent::APNS 2. AnyEvent::JSONRPC::Lite 3. AnyEvent::Gearman 順番に説明していきます。 1. AnyEvent::APNS
use Moose - file-glob こと k.daibaの日記
Jabber Channel Bot Google waveでJabberを拡張したプロトコルを使うという話もあって，またJabberが盛り上がってきそうな今日このごろ，Channel（というかチャットルームと言った方がわかりやすい気もします）に投稿するBotを作ってみました．以前IRC用に作ったスクリプトのJabber版です．最近の流行に乗ってMooseを使ってみることにしました．使い方はこんな感じです． #!/usr/local/bin/perl use strict; use warnings; use MyBot; main() unless caller(); sub main { my $bot = MyBot->new( jid => 'bot0@jabber.foo.co.jp', passwd => 'password', chatRoom => 'lanman@conf
AnyEvent::Intro チョー訳 その１ - download_takeshi’s diary
最近perl界隈で話題のAnyEventについて、今のうちに習得しておくとid:miyagawaみたいにクールになれて、もしかしてモテるのではないかと思い、よっしゃ、勉強してみるか、ということでドキュメント読み出したんですが、、えらいボリュームですね。心がポッキリ折れました。 い、いや、そんなことではいかん！頑張るぞ。 というわけで、折角なので、チョー訳を残していこうと思います。AnyEventはおさえておきたいけどドキュメントの長さに呆然としてしまったアナタ、ダウンロードたけしと一緒にレッツスタディしようぜ！ なお、AnyEventのドキュメントはすごく長いので、ぶつ切りでいきます。最後まで書き綴れるかどうかは不明です。 さらに英語にはあまり自信がないくせに、要所要所ですごく意訳的なことをしています。誤訳などありましたら指摘して下さいませ。 ※原文はこちら http://search.c
Perl 非同期プログラミング
1. 非同期プログラミング with Perl 2010/08/07 Japan Perl Association 代表理事 株式会社ライブドア 牧 大 輔 (@lestrrat) 3. 普通の書き方 use strict; use LWP::UserAgent; my @urls = qw( http://www.livedoor.com/ http://www.dena.jp/ http://mixi.jp/ http://www.gaiax.co.jp/ ); my $ua = LWP::UserAgent->new(); foreach my $url (@urls) { my $res = $ua->get( $url ); ... }
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
