pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m

皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL

かべ @kataru_kabe 友達が「子育て中のママはみんな履いて欲しい」と力説していたNIKEのゴーフライイーズ、私も履かせてもらったらマジで“そう”だった…子や荷物で両手が塞がっていても脱ぎ履きできるし、屈まなくて済むから妊婦さんにも良いと思う。妊娠中に知ってたら間違いなく買ってた。 nike.com/jp/flyease pic.twitter.com/bNfuX9540h 2022-12-11 10:43:35 かべ @kataru_kabe この靴はTwitterで話題になったので存在自体は知りつつもそこまで関心がなかったんですが、自分の立場が変わったことによって「これめちゃくちゃ便利やん」となった。元々は障害を持つ人の声をベースに開発したとのことで、ユニバーサルデザインってこういうことだよなーとしみじみ実感している。 2022-12-11 10:43:36