gevent+pyqueryで並列にスクレイピングする - YAMAGUCHI::weblog

はじめに こんにちは、Python界の炭酸x2倍のジョルトコーラです。なんか適当に書いたコードが予想外にはてブ付いたので「みんな好きモノなんだなー」と思いました。同期なコードだとURL増えたときに詰まっちゃうので、非同期なやつもちょろっと紹介しますよ。 あ、くれぐれも闇雲なスクレイピングはしないでくださいよ。DoS攻撃と変わらないですから。捕まっても僕は責任とりませんよ。 リンク 5分でWebスクレイピングをする - YAMAGUCHI::weblog 前回のエントリ。これは直列なコードなのでURLが増えれば増えるほど線形に遅くなる。 やってみよう おさらい 前回は指定した複数のURLのページにあるHTMLからaタグを全部抜き出す、というようなことをしたのでした。で、今回はそれを非同期化しましょうという話。 非同期にしたいところ 前のコードでforとかになってるところは基本的に同期じゃなく

[kshimo69]

自分もなんかの時にevent.hが見つからないって出たことあったなー。

[triggerhappysundaymorning]

何故か”スクレイピング”って単語に悪意の意味があるような気がして脳味噌が受け入れない感じなのだが,多分狂牛病とかプリオン原因の「スクレイピー」に似てるからと今認知した.