タグ

ブックマーク / hiroshiykw.blogspot.com (2)

  • Parallel Pythonで分散処理

    Erlangでなくて、Pythonで分散処理を書く意義はなんだろうかと考えた。 Erlangはたしかに分散処理が得意なんだろうけど、いろいろ調べた感じでは、複雑な数値計算などの分散処理には向いていないというウワサだ。良く知られているTwitterや通信の例のようなシンプルな処理を膨大な量さばくにはいいようだけど。 計算を分散で行う場合、来はGoogleが採用しているように、C++をベースにすべきだろう。 (ただし、GoogleではSawzallという独自言語で記述し、それをC++に変換して実行するそうな。) そうなると、「なぜPythonで分散処理?」というのが重要になる訳だが、おそらく以下のようなことだろうか。 既存の豊富なモジュール(しかも多くはCで書かれている)を使える。C、C++で書かれたルーチンをswig等でPythonに連結し、それを分散させれば、実質C、C++で実行している

  • 2ちゃんねる Pythonのお勉強 Part26よりParallel Python関係の議論抜粋

    Pythonのお勉強 Part26 からの抜粋。なんともタイムリーなことに、Parallel Pythonが話題になっている。 この議論で288が指摘している事は、やはり的を得ているのではないだろうか。 Python->C/C++という移植で10倍速くなるなんてことは珍しくない。 (例えば、C++からMecabを利用した時の速度は驚異的ですらあるが、Pythonから利用した場合はちょっとのんびりとしたものになってしまう。) numpyがうまくハマっているPythonスクリプトとかなら別ですけど。 で、以下その議論抜粋です。。。。 --------------------- 169 :デフォルトの名無しさん:2008/05/06(火) 21:31:30 threadって計算速度の向上に効果ある? a = b1 + b2の計算を(a,b1,b2はarray) b1とb2をthreadで計算して

  • 1