9. 非イベント駆動な ネットワークプログラミング process Client or thread process Client or thread process Client or thread
イベント駆動プログラミングとI/O多重化
9. 非イベント駆動な ネットワークプログラミング process Client or thread process Client or thread process Client or thread
EventMachineを使ってpixivクローラーをリニューアルした - shimobayashiの日記
http://d.hatena.ne.jp/shimobayashi/20090718/1247894330で書いたコードを誤魔化しながら動かしてきていたのですが、 同期実行なのでクロール対象が増えるほど実行時間が増大するpixivにIPアドレスBANされているのでプロキシを経由してクロールしているのだが、そのせいで非常に実行が不安定で異常終了が多いといった問題が顕在化してきたのでいい加減非同期に処理する感じに書き換えました。 結果としては実行時間、安定性ともに非常に良くなったので書いてよかったんじゃないかと思います。 今回はEventMachineというライブラリを先駆者の後を追って利用してみたのですが、やたらと情報が少なく調べ物するのがだるかったのでソースコードコピペしたりしときます。 まず、EventMachineにはHTTPリクエストを扱う方法はHttpClientとHttpCli
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
