たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい

pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m

[vaaaaaanquish]

swifter、前期productionで使ってたけど、複雑なapplyしたりreset_index忘れるとしんでしまうのでむずかしい。tqdm出るのは便利。

[misshiki]

“pandaralell はPythonの multiprocessing moduleを使って計算処理を並列化するライブラリです。”

[djshigy]

python

[mukaken]

試してみよ