Python 分散処理 Spartan - Qiita

#この記事はPythonで分散処理したい方に向けた記事です。 pythonのイメージは遅いという方も多いと思います。 そのイメージを払拭すべくcythonなどのライブラリが出ていますが、今回はpythonを高速化する手法の一つとして分散処理について紹介しようと思います。 分散処理の代表といえば。 ・Hadoop ・Spark です。 今回はSparkを単純にpythonに適用したいと考えたのですが・・ 下記の記事でJVMとPythonのデータ構造の変換が何回も起こり、レイテンシーが大きくなるのであまり早くならないと記述がありました。 上図の構造を見てみるとSpark Workerとデータをパイプする部分が多く分散処理するとそこがネックになるかもという印象を受けます。 #Spartan そこで今回はPythonでのデータ処理はNumPyという行列データ構造を使うことで高速化することができるた