並列処理がとても苦手なPythonはプロセスを分けよう コードを書く時に意識したい2つのTipsと2つの落とし穴 | ログミーBusiness

西川氏の自己紹介西川大亮氏（以下、西川）：ここからはPython編の「ちょっとしたデータ分析の並列化」というタイトルで、西川から話します。 GOに勤める西川です。今やっているのは、タクシーやハイヤーの営業支援。「お客さんを乗っけていない時間、どこを走ったらいいの？」とか「どういうところで待っていたら注文来やすいの？」というところのナビをする、「お客様探索ナビ」というサービスのいろいろなことをしています。小さなサービスなのでいろいろやっている感じですね。 Pythonはバックエンドのデータ分析で使っているのですが、一番よく使うのはアドホックなデータ分析です。「こんなことを知りたいんだけど」とか、「調べたいんだけど」みたいな時、パパッと調べる時に使っています。 そして、それを定型のレポート化にしたいとか、定型データのテーブルを作りたいという時は、そのままデータ加工で使うようなかたちでよく使って

[ledsun]

“BigQueryにデータを全部入れて、SQLでやると勝手に並列化していてむちゃくちゃ速いので（笑）。言語を変えるんだったら西川が最初に考えるのはそれかなと思います。”

[totoronoki]

最後の方に書いてあるけど、bigqueryにSQLでやってもらえばそっちのほうが早いのか。

[bluegold]

macOS も fork() システムコールを使っていて、CoW も使われると思うんだけど、どういう意味なんだろう。macOS 用の Python なり Jupyter が Linux と macOS で fork() と spawn() を使い分ける実装だって言うこと？

[kkobayashi]

並列処理にPythonは向いてない、プロセス分けるとデータの共有がクソ面倒になるし。逆に並列処理に向いてるLLと言われても分かんないけど・・・

[misshiki]

“Pythonは並列処理がとても苦手”

[delphinus35]

まるで、macOSがUNIX系ではなかったりPOSIXにも準拠していないかのような書き方が気になる。

[progrhyme]

LL系に対してはそういう印象持ってる

[knok]

そうそう、multiproccesing.Poolも内部的にpickleしてるのでpickleできないデータを扱えないんだよね

[iliorz419]

joblibはここで書かれてるようなことをやってくれる。Pythonではjoblibで扱える範囲でしか並列化しないようにしてる。

[deejayroka]

"言語を変えちゃうんであれば、それはなんでもありかなと思います。ただ、ちょっとしたデータ分析の中で西川がおすすめするのはGoogle Cloud PlatformのBigQueryにデータを全部入れて、SQLでやると勝手に並列化し"

[jintrick]

“Python 3.13ぐらいで、GILなし版を作るような話がちょっと出ていました。ニュースになっていましたね。なので、課題は持っているんだけれど、まだ直っていないという感じです”

[da-yoshi]

Pythonは並行処理で済ませて、IOの先に重たい並列処理をさせるのが楽でいい気がしている

[n_vermillion]

連携のオーバーヘッドを考慮しても実績ある言語で並列処理部分を組んだ方が良さそうな気がするなこれ。並列化部分でバグ作り込んだら後からのメンテナンスがすげー大変そう…。