恐怖の JVM 大量メモリ消費！メモリリークの謎を追え！！ - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは、ミドルウェア開発チームの青木(@a_o_k_i_n_g)です。将来の夢は川口浩探検隊に入ることです。 先日、弊社のアプリケーションサーバーで大量にメモリを消費するという現象に遭遇しました。アクセス頻度の低いサーバーがメモリを大量消費するという謎深いものでした。 発生当初の状況はこんな感じです。 アプリケーションサーバーでは Jetty が稼働 現象が発生した JVM は 5GB 程度のメモリを消費しており、明らかに通常ではない量のメモリを消費している 複数台のサーバーで発生していたが、全てで発生したわけではない。 また、発生したサーバーはいずれもアクセス頻度が少ないサーバーだった。 ヒープ、パーマネント、スタック ひとまず、JVM でトラブルが発生した時は何はともあれヒープダンプとスレッドダンプを見るに限ります。各種情報の取得をインフラ部隊へ依頼し、得られたヒープを解析すると、

[JULY]

サーバ屋からすると、Java のプログラムって、OS の中に得体の知れない OS が動いているようで、こういう問題が発生した時に手に負えなくて嫌い。

[akulog]

JVM死ねばイイのに案件にまさに巻き込まれてる

[kkamegawa]

.NETでもDisposeしなきゃいけないものが結構あって、たまにトラブルで調べるとDispose漏れだったとか…

[twainy]

gcore → stringsの流れが参考になる

[iww]

読めば読むほど「良く分かったなこんなの」という畏怖の気持ちしか沸いてこない。 これが

[deep_one]

『JVM が量子力学的振る舞いをしている説、幽霊説』（笑）→『幽霊の正体見たり枯れ尾花』／立ち上げっぱなしのWindowsがおかしくなるのもきっとこういうのがたくさん潜んでいるから。

[cabinotier]

すげぇ面白かった(子並感

[auient]

Javaの人ってこんなイメージ。phperなら10秒考えたあとにサーバ再起動してるイメージ

[sifue]

finalize使うなはEffective Javaに書いてあるぐらいの初歩だけど、現場のエンジニアによっては混入するからなぁ。Scalaを使ってヌルポとメモリリークのない世界にする方が楽。

[raitu]

デバッグってミステリー感あるよなーとか

[eiryu9]

リソースリークこんなことになるのか

[tmatsuu]

こわい。でも参考にする

[kasumani]

恐怖の JVM 大量メモリ消費！メモリリークの謎を追え！！ こんにちは、ミドルウェア開発チームの青木です。将来の夢は川口浩探検隊に入ることです。 Tags: feedly, ifttt, recently read, saved for later from Pocket February 09, 2015 at 02:54PM vi

[W53SA]

「現象の解明まで紆余曲折ありました。JDBC が犯人ではない説、ロードバランサが犯人説、JVM が量子力学的振る舞いをしている説、幽霊説、etc・・・。」量子力学的振る舞いするVMやばそう

[takc923]

これは分からんですわ... 実際どれくらい時間かかったんだろう。OutOfMemoryになる前に再起動すればなんとかなっちゃう分、1年くらい認識された問題でちょっとずつ調べた結果がこれ、とかありそう。

[naga_sawa]

よく掘り当てたな感/ここに至るまでの時間を許してもらえる環境がうらやましい

[raimon49]

これだけやって突き止められた犯人はfinalizeでのリソースクローズだったか……。

[e-jigsaw]

大変そう

[iekusup]

ほー。

[efcl]

メモリダンプの文字列をstrings -a でまとめて取り出せるんだ。 GCが起きないと解放されないメモリを追う話

[sora_h]

finalize か…

[razokulover]

推理小説っぽい

[terurou]

調査結果がなかなかつらい

[papix]

ここまで深掘って行けるの凄いなぁ...

[kimutansk]

へぇ。こういう原因でしたか。かつ、メモリを大量消費しているものの、重いわけではない良くわからないプロセスと。面白い。

[miya2000]

ゴミ箱いっぱい。

[learn]

Cヒープのリークをgcoreとstringsで解析

[decobisu]

ひぃ

[KUMARI]

トラブルシュートは勉強になります

[habarhaba]

ああ、素晴らしい

[aosiro]

自分とこでこれ起きたらメモリ増強くらいしかできないな…

[gnufrfr]

喜びあふれる

[xorphitus]

非常に参考になった。このレベルのデバッグができるようになりたいもの

[tengo1985]

やばい。lsofで見たら問題なかったからおんなじようなコード書いたことあるかも。nativeみなくても、liveオプション付きでjmapすれば、わかったりしないかな。

[kabochatori]

大抵問題あるのは自分のところのコードだから外部のライブラリまで調べるのはかなり後になっちゃうんだよなぁ。

[PowerEdge]

これで1時間のドラマ作る奇特な制作会社があったら見てみたいレベル

[kootaro]

素晴らしい！