gevent+pyqueryで並列にスクレイピングする - YAMAGUCHI::weblog
はじめに こんにちは、Python界の炭酸x2倍のジョルトコーラです。なんか適当に書いたコードが予想外にはてブ付いたので「みんな好きモノなんだなー」と思いました。同期なコードだとURL増えたときに詰まっちゃうので、非同期なやつもちょろっと紹介しますよ。 あ、くれぐれも闇雲なスクレイピングはしないでくださいよ。DoS攻撃と変わらないですから。捕まっても僕は責任とりませんよ。 リンク 5分でWebスクレイピングをする - YAMAGUCHI::weblog 前回のエントリ。これは直列なコードなのでURLが増えれば増えるほど線形に遅くなる。 やってみよう おさらい 前回は指定した複数のURLのページにあるHTMLからaタグを全部抜き出す、というようなことをしたのでした。で、今回はそれを非同期化しましょうという話。 非同期にしたいところ 前のコードでforとかになってるところは基本的に同期じゃなく
Python製テンプレートエンジンあれこれとJinja2 - YAMAGUCHI::weblog
はじめに こんにちは、Python界のタオパイパイです。いろいろなコミュニティで行われているアドベントカレンダーですが、今年初めて参加してみました。 Python Web フレームワーク アドベントカレンダー2010 : ATND 今年はPython系では「Python Web フレームワーク アドベントカレンダー2010」と銘打ってWebフレームワーク系の話をするようなのですが、自分はそもそもWebフレームワークをそんなに知らない。困った！というわけでWebアプリケーションフレームワークには必ずあるテンプレートエンジンについて調べました。 どんなテンプレートエンジンがあるのか そういえば俺もよく知らんなと思ってとりあえずいろんなエントリから調べてみましたよ。全部挙げたらきりがないので、とりあえずGoogleのヒットが多いものを挙げてみました。普通にフレームワーク名になってしまっているもの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
