Pinterest: geventでコードベースをマルチスレッドに - ワザノバ | wazanova.jp
http://engineering.pinterest.com/post/65713073803/how-we-use-gevent-to-go-fast Pinterestがエンジニアブログで、Pythonの数十万行のシングルスレッドのコードベースをgeventを利用してマルチスレッドにした経験を紹介しています。 1) Lessons from the early days シングルスレッドのコードベースでサイトの急成長に対処していくうちに、 機能が増えるにつれてサーバが増えた。 バックエンドのサーバが増えたら、障害や遅延のリスクが増した。 コードにロジックが増えたので、network IOなど並列処理をしたかったが、シングルスレッドサーバが足かせになった。 2) Building high performance servers 並列処理サーバを実現するための解がgeventであった
Python の WebSocket ライブラリ - methaneのブログ
ちょっと調べてみたら、想像してたよりもライブラリが充実していたので、各ライブラリの特徴をまとめておきます。 AutobahnPython Autobahn が Python 用にサーバー、クライアント用のライブラリを提供しています。 AutoBahn Python は Pure Python で Twisted に依存しています。 Twisted を使うなら Autobahn でいいのですが、そうでない場合は別のものを使う必要があります。 Autobahn は Python 用以外に JavaScript と Java(Android) 用にもライブラリを提供していて、また他の多くのプロジェクトでも利用されている WebSocket 用のテストスイートも提供しています。高品質な WebSocket ライブラリがいっぱい揃っているのは多分このテストスイートのおかげでしょう。 Tornado
Tornado vs. Gevent - Benchmarks : Blog – @kgriffs
Slow Website? Check out Luhnar for an easy way to speed up your client's Django, WordPress, or other CMS-based or custom site. www.luhnar.com In this latest round of performance testing, I take the Tornado web framework for a spin (heh, couldn’t help myself), and also play around with Cython. After FriendFeed was acquired several years ago, Tornado stagnated a bit, but this past year the community
)
次世代標準非同期I/Oフレームワーク asyncio (Tulip) - methaneのブログ
Python Advent Calendar 2013 の4日目です。 Python 3.4 で標準ライブラリに追加される asyncio を触ってみます。 なお、 Tulip とは asyncio のリファレンス実装のプロジェクト名です。 背景 Python はよく非同期 I/O プログラミングに使われます。 Twisted, Tornado, gevent, eventlet, pyuv などのフレームワークがあります。 これらのフレームワークの問題点として、ライブラリの再利用性の低さが挙げられます。 たとえば Twisted 用に書かれた XMPP ライブラリは、そのままでは Tornado で 利用することができません。 この問題の解決策として、良くイベントループの乗り入れが行われます。 GUIアプリケーションに組み込む場合などを考えて、多くのフレームワークが最初から イベントルー
Python で HTTPリクエストを並列化 « Stop Making Sense
はじめに 以前、GAE/Python で HTTPリクエストを並列化 で HTTPリクエストの同時発行を試みましたが、制限だらけの GAE で出来るなら、普通のPCでも出来るはず！ ということで、いくつかの方法を試してみました。 GAE では google.appengine.api.urlfetch パッケージの非同期リクエストを使って簡単に実現出来ましたが、残念ながら urlfetch は GAE 専用なので同じ手は使えません。 ネットで検索すると gevent + urllib の組み合わせで出来ることが分かりましたが、同じ事をやっても面白くないので別の方法を探し PycURL に辿り着きました。 ということで、PycURL を使った方法から紹介し、その後で gevent と multiprocessing を使った方法も紹介します。 その１：PycURL を使う (PycURL の
peter - geventでWebSocketを使ったチャットを作る（Python備忘:06）
先日、一生懸命、twistedを使ってWebSocketのデモを作ってみたわけですが「twistedなんて疲れるし、ナウでヤングな人はgeventだよ！」と今年の4月に、おおたにさんが書いているのを見つけてしまって、すっかりショック。 Twisted教は面白いのですが、疲れるのも事実です。…… jbkingより「ナウでヤングな若者はgeventだ(意訳)」と教えてもらって、 http://blog.liris.org/2010/04/gevent.html 時代は変わっていたみたいです。 なので、ナウでヤングなgeventで、さらにナウでヤングなWebSocketチャットをやってみました。 geventを使おう geventとは、コルーチンベースのネットワークライブラリ。 libeventライブラリのイベントループに対してハイレベルな同期APIを提供するために、Stackless Py
gevent+pyqueryで並列にスクレイピングする - YAMAGUCHI::weblog
はじめに こんにちは、Python界の炭酸x2倍のジョルトコーラです。なんか適当に書いたコードが予想外にはてブ付いたので「みんな好きモノなんだなー」と思いました。同期なコードだとURL増えたときに詰まっちゃうので、非同期なやつもちょろっと紹介しますよ。 あ、くれぐれも闇雲なスクレイピングはしないでくださいよ。DoS攻撃と変わらないですから。捕まっても僕は責任とりませんよ。 リンク 5分でWebスクレイピングをする - YAMAGUCHI::weblog 前回のエントリ。これは直列なコードなのでURLが増えれば増えるほど線形に遅くなる。 やってみよう おさらい 前回は指定した複数のURLのページにあるHTMLからaタグを全部抜き出す、というようなことをしたのでした。で、今回はそれを非同期化しましょうという話。 非同期にしたいところ 前のコードでforとかになってるところは基本的に同期じゃなく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
liris.org