EventMachineを使ってpixivクローラーをリニューアルした - shimobayashiの日記http://d.hatena.ne.jp/shimobayashi/20090718/1247894330で書いたコードを誤魔化しながら動かしてきていたのですが、 同期実行なのでクロール対象が増えるほど実行時間が増大するpixivにIPアドレスBANされているのでプロキシを経由してクロールしているのだが、そのせいで非常に実行が不安定で異常終了が多いといった問題が顕在化してきたのでいい加減非同期に処理する感じに書き換えました。 結果としては実行時間、安定性ともに非常に良くなったので書いてよかったんじゃないかと思います。 今回はEventMachineというライブラリを先駆者の後を追って利用してみたのですが、やたらと情報が少なく調べ物するのがだるかったのでソースコードコピペしたりしときます。 まず、EventMachineにはHTTPリクエストを扱う方法はHttpClientとHttpCli
