【Pandas】データベーステーブル読込み時のメモリエラーを回避する - Qiita

※"データベース" とはPostgreSQL（またはAmazon RedShift）を指しています。 TLDR pyscopg2のサーバーサイドカーソルを併用してデータを読み込んでいく必要がある。 （※PostgreSQL限定） サーバーサイドカーソル、クライアントサイドカーソルについては下記記事が大変参考になる。 PythonとDB: DBIのcursorを理解する 事象 pandasでは、一度にメモリに乗り切らない巨大なデータを一定量ごとに読み込んで逐次処理するためのchunksizeオプションが用意されている。 しかし、巨大なDBテーブルの読み込みにchunksizeを指定してもメモリエラーが発生するケースがあった。 >>> import pandas as pd >>> engine = get_engine() # 10,000行テーブルの読込み(成功) >>> small_df