Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments

pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ

[yccurry]

very useful

[dynamicsoar]

np.vectorizeか…// pandas.util.testing.choice()は今は使えないっぽい。np.random.choice()を使うべきっぽい？ https://github.com/pandas-dev/pandas/pull/12384 //vectorize以前にseriesのままで解決した。ありがたい。

[U1and0]

行に対するループ / DataFrame.apply は 使わない object 型は使わない ユニークでない / ソートされていない index は使わない

[ottonove]

@@, pandas, python, スキルアップ, 教材

[zou3dazou]

"DataFrame は内部的に 同じ型の列をまとめて np.ndarray として保持している。列ごとに連続したデータを持つことになるため、そもそも行に対するループには向かない。"

[akiramaz]

]

[ohnabe]

pandas

[chezou]

Juliaもこれくらいの感じでカテゴリカル型使いたい

[yubessy]

Python pandas パフォーマンス維持のための 3 つの TIPS

[yamitzky]

参考になった