Ruby: mallocでマルチスレッドプログラムのメモリが倍増する理由（翻訳）｜TechRacho by BPS株式会社

要約 メモリ断片化は測定や診断が困難ですが、驚くほど簡単に修正できることもあります。マルチスレッドのCRubyプログラム（mallocのスレッド単位メモリアリーナ）におけるメモリ断片化の原因を追ってみましょう。本記事のボリュームは3343語、20分程度です。 単純な設定変更だけで問題を完全に解決できることはめったにありません。 私の顧客のSidekiqプロセスが大量のメモリを消費していたことがありました（1プロセスあたり1 GB程度）。開始当初の各プロセスは300MB程度でしたが、時間の経過とともにじわじわと肥大化してほぼギガバイトレベルにまで達したところで落ち着き始めました。 私は顧客にMALLOC_ARENA_MAXというたった1つの環境変数の変更を依頼しました。「2に設定してください」と。 プロセス再起動後、「じわじわ肥大化」現象はピタリと止みました。プロセスのメモリ使用量は以前の半

[tofu-kun]

“jemalloc”

[el-condor]

メモ。これ使ってみようか

[inoueyuworks]

GC/メモリ管理/マルチスレッド について。ポイントは、 RVALUE(40 byte) が GC の対象であり、それに収まらないデータは malloc つまりアロケータ依存。 マルチスレッド環境での malloc は、creates ARENA a lot in sake of speed.

[s_hiiragi]

“そしてよくメモリリークと間違えられます。しかしメモリリークは直線的に増加しますが、断片化によるメモリの肥大化は対数的に増加します。”

[yuya_presto]

Railsアプリがメモリめっちゃ食うのは何かと思ったら、malloc()でスレッドごと（厳密ではない）に別のメモリプールが作られて、GCしてもメモリプール間で使用領域が断片化してしまい、解放不能に。

[willnet]

“利用可能なメモリアリーナの個数を減らすと、断片化を軽減できるのです”の理屈がよくわからないな

[ksss9]

jemallocかー

[tkawa]

現時点では MALLOC_ARENA_MAX=2 が良いかも