Pythonジェネレータでメモリ効率を高める方法 - Qiita

はじめに 業務で巨大なログファイルやマスターデータの大きいjsonファイルをプログラム上で読み込んだ時に大量のメモリが使用され、パフォーマンスが悪くなる事象が出ていました。 ネットで調べているとジェネレータを使用するとメモリの使用量が減らせることが分かりました。 実際、ジェネレータを使用しリファクタリングを行い検証を行ったところ性能が改善されました。 今回はジェネレータの使い方をまとめました。 ジェネレータとは イテレータを反復して生成できる関数です。Pythonのlistのように大量のデータを一度にメモリに保持せずに、1度に1個ずつデータを生成しメモリに保持します。 具体例 ジェネレータを作成するにはreturnを使用せずにyeildを使用します