PANDASで効率よくデータ加工する事例 - Qiita

初めに PANDASは、データサイエンティスト向けの最高のデータ処理ライブラリですが、数百万行のデータを取り扱う際にパフォーマンスの落とし穴を回避するように注意する必要があります。今回は仕事の中で学んできたいくつのテクニックを紹介したいと思います。 DataFrame PANDASは列志向のデータ構造なので、列ごとの処理は得意です。DataFrameの作成には「１レコード１行」形式で、１レコードに対してすべての測定可能の値（湿度、値段、座標など）はカラムごとに行うことを推奨します。 しかし、膨大なデータ加工において行ごとのforループ処理したらパフォーマンスを格段に落とす。本記事はパフォーマンスを考えて頭よくデータ加味を行う方法を紹介したいと思います。 まずはサンプル用のテーブルを作ります。 data = {'Team': ['Tiger', 'Tiger', 'Rabbit', 'Rab