コールバックを使わずに、RubyでHTTPリクエストを並列発行する方法 - Qiita

次のようなユースケースで、HTTPリクエストを並列発行したいことがあるでしょう。 URLのコンテンツ内容の監視（Webレスポンス監視） コンテンツの応答監視（ページの更新チェック） Webページのクロール（スクレイピング） 非同期処理と言ったらコールバックですね。ただ、コールバック地獄は避けたい。 そんな時には次のようにEventMachineとFiberを用いると、読みやすい非同期処理の実装が出来ます。 URLの数だけ並列実行する方法 とにかく速いですが、URLリストが増えた場合には次の問題が起きうるので注意が必要です。 ファイルディスクリプタの上限を叩く可能性 接続先Webサーバの最大同時接続数を使い果たす可能性 NATルータ機器を通してインターネットに出ている場合には、そのNATテーブルが溢れる可能性 スパイク的なリクエストを発生させることで、下りネットワーク帯域を埋め尽くす可能性

[miguchi]

“http://www.slideshare.net/cuzic/em-synchrony”

[suthio]

便利そう。

[yoshi-ken]

Blogged.