巨大サイズデータ処理に対して省メモリで立ち向かうこんにちは。検索連動型ショッピング広告のレポートシステムを担当している眞井です。 レポートシステムでは、広告主が広告の成果の可視化や分析を行うためのレポートを作成する機能を提供しています。 作成するレポートはCSVやTSVなどのテキストファイルで、広告の運用状況によっては数GB規模の巨大なサイズになることもあります。 普段はなんてことない処理でも、扱うデータのサイズが巨大になると多くのメモリが要求されてサーバ費用が高くついたり、OOME（Out Of Memory Error）が発生して処理が失敗してしまうといった問題が発生します。 今回は、このような問題を回避するためにレポートシステムで行っている2つのテクニックを紹介します。 巨大なデータを扱う場合に発生するOOME まず、どのようなシーンでメモリが要求されOOMEが発生するのかを、レポートシステムの例で説明します。 レポートシステムが
