S2JDBCのiterate()で OutOfMemoryError - ログ日記

S2JDBCを使って DBのデータ数十万件をまとめてDLしようとしたらエラーになった。 getResultList()じゃなくてiterate()使ったら結果をまとめて保持しなくなるからメモリを使わなくなるんじゃないの？と思ったけどダメ。 WicketのResourceStream系がキャッシュしてるのか自分で書いたオブジェクトを書き出す処理がミスってたのか何か使い方が間違ってたのか分からずハマった。 Eclipse Memory Analyzer でダンプを見たら、どこかでデータを全件保持している模様。 2/29 ここから追記S2JDBC+PostgreSQLだとs2jdbc.diconのfetchSizeプロパティの設定＋トランザクションをきちんと開始する、で解決しそう。(とりあえずローカル環境でエラーの再現 → エラー修正の確認まではできた) PostgreSQL: http://o

[n314]

普段ブクマ付かないのに間違えたときだけのびるのがはやい・・・

[sh2]

MySQLのJDBCドライバはデフォルトで全件保持する設計になっていますが、useCursorFetchをtrueに設定することで回避できます。と、いうような個別ノウハウが製品ごとにあると思われます

[lizy]

設定はあってもJDBCドライバがサポートしてない？さすがにこれだけ枯れたものならその可能性は低そうですが

[kyon_mm]

JDBC全般の問題らしい。これはハマりそうなのでブクマ