EventMachineを使ってpixivクローラーをリニューアルした - shimobayashiの日記

暮らしカテゴリーの変更を依頼記事元:

d.hatena.ne.jp/shimobayashi

23 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

EventMachineを使ってpixivクローラーをリニューアルした - shimobayashiの日記

http://d.hatena.ne.jp/shimobayashi/20090718/1247894330で書いたコードを誤魔化しながら動かしてきて... http://d.hatena.ne.jp/shimobayashi/20090718/1247894330で書いたコードを誤魔化しながら動かしてきていたのですが、同期実行なのでクロール対象が増えるほど実行時間が増大するpixivにIPアドレス BANされているのでプロキシを経由してクロールしているのだが、そのせいで非常に実行が不安定で異常終了が多いといった問題が顕在化してきたのでいい加減非同期に処理する感じに書き換えました。結果としては実行時間、安定性ともに非常に良くなったので書いてよかったんじゃないかと思います。今回はEventMachineというライブラリを先駆者の後を追って利用してみたのですが、やたらと情報が少なく調べ物するのがだるかったのでソースコードコピペしたりしときます。まず、EventMachineにはHTTPリクエストを扱う方法はHttpClientとHttpCli

ブックマークしたユーザー

katotaku2013/12/29
repon2012/11/08
kksg2011/11/23
t9a2011/10/19
ohnishiakira2011/10/15
HISAMATSU2011/10/15
yag_ays2011/10/13
retlet2011/10/12
jumitaka2011/10/12
pekepekesamurai2011/10/12
yuanying2011/10/12
otsune2011/10/12
wideangle2011/10/11
yuiseki2011/10/11

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - 暮らし

いま人気の記事 - 暮らしをもっと読む

新着記事 - 暮らし

新着記事 - 暮らしをもっと読む

設定を変更しましたx