https://labs.cybozu.co.jp/blog/kazuho/archives/2008/04/q4m_crawler.php

[yon666632]

クローラー

[ko-ya-ma]

高速なクローラのサンプル。

[inurota]

ほほう

[rawwell]

"また、Q4M を使ったこのクローラは、かなり高速でもあります。Perl ベースのイベントドリブン型クローラのフレームワークであるGungho と比較した場合、手元の環境におけるパフォーマンスの差は以下のようになりました。"

[webmarksjp]

perl

[bluerabbit]

これは興味ある。

[susatadahiro]

バージョン 0.4

[mainyaa]

メッセージキューを使うことで、高速なクローラを簡潔に、きれいに実装できる

[kdaiba]

ストットル機能をいれなくていいの？

[koyhoge]

ストレージエンジンとして動作するメッセージキュー