Pandasでデータを省メモリで扱う工夫 - Qiita

手元のパソコンのメモリでそこそこ大きなデータ処理をしたいが、何とかpandasで乗り切りたいとき、最後のあがきとしてできる省メモリのやり方や関連する工夫をまとめてみます。普段から意識して使うようにすれば、無駄に計算資源を消費することなく分析ができるので、色々とメリットがあるのではないかと思います。 ただ、どうしても限界がありうまくいかなければ、そもそもメモリを増設するか、AWSやGCPなどのクラウドサービスを活用することをお勧めします。 検証データ やり方だけ書いても現実的でないため、今回は有名なタイタニックの生存者予測のデータを使用します。データ量は全く多くないのですが、その点ご容赦ください。やり方だけ気になる場合はこのパートは読み飛ばして頂いて大丈夫です。 分析環境 OS：市販の安いノートPCに入っているwindows 10 Home 環境：上記OSにKaggleのDockerをマウン