一時ファイルとdentry cacheとメモリ - blog.nomadscafe.jp

わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem

[kazuhooku]

サーバの場合swap起こしたら負けなんだから、swappiness下げておく、って運用がいいのかなと思ってる / swappiness=0 でもダメだったとのこと

[yosuke_furukawa]

素晴らしいな。そしてisuconでこれ出るよーって先生から言われた気がした。

[hirose31]

tmpfs / http://mkosaki.blog46.fc2.com/blog-entry-59.html

[kotaponx]

でも、大量ファイルを扱う場合のtmpfsはinode数に注意ね。まぁ増やしておけばいいんだけど

[udzura]

これってでかい画像をApacheで配る→dentry cacheが太る→tmpfsに一時ファイルを作れば抑制できる という理解でいいのかな。

[HHR]

dentry cache. slabtop /proc/sys/vm/drop_caches 一時ファイルを大量作成するとdentryも急増する

[Spring_MT]

これ swap切るとリーピングで解消したりしないかな

[koemu]

一時ファイルの大量生成により「dentry cacheによりメモリが圧迫される可能性がある」「tmpfsを使うとdentry cacheは溜まらない」あと"slabtop -o | grep dentry"でdentruの利用率もチェック

[ngyuki]

一時ファイルで dentry cache がおっきくなっちゃうやつ

[ainame]

“slabtop”

[blueribbon]

・dentry cacheによりメモリが圧迫される可能性がある ・tmpfsを使うとdentry cacheは溜まらない ・TMPDIR環境変数で一時ファイルの場所は変更出来る

[kimutansk]

「大量に一時ファイルを作成するようなアプリケーションはtmpfsを使うのが良い。そもそも速いので使わない手はない」と。覚えておく必要がありますねぇ

[tmatsuu]

素晴らしい。今日、社内勉強会でswappinessの最近の挙動について勉強したので色々とガッテン。vfs_cache_pressureは手元でも効果なくてよくわからんかった。

[richard_raw]

"export TMPDIR=/dev/shm"

[wtatsuru]

頻繁に書き換える系でよく起きる

[sh2]

素人目にはファイルを削除すると同時にdentry cacheが解放されれば良いのにと思うけれど、そうなっていない深遠な理由があるのだろうけど、ちょっと調べたくらいでは分からなかった

[ya--mada]

ふーむ、あとでお勉強

[shin1x1]

一時ファイルを多数生成する場合、dentry cache でメモリが圧迫される場合があるので、tmpfs を利用する（ tmpfs では dentry cache は消費されない）

[sonots]

drop_cache の 2 ってこれかー

[hiro_y]

「大量に一時ファイルを作成するようなアプリケーションはtmpfsを使うのが良い。そもそも速いので使わない手はないですね。」

[n314]

キャシュを解放するよりスワップを使う方が速いと判断されるって本当かな？と思ったけどそもそもスワップ必須の環境ならあるのかも。

[lesamoureuses]

“大量に一時ファイルを作成するようなアプリケーションはtmpfsを使うのが良い”

[ionis]

tmpfsを使うとdentry cacheたまらないのか〜。良いですね〜。

[sunaoka]

small light

[oppara]

一時ファイルとdentry cacheとメモリ - http://t.co/oxgJj9PdKf

[potato777]

"dentry cacheによりメモリが圧迫される可能性がある / 大量に一時ファイルを作成するようなアプリケーションはtmpfsを使うのが良い。" / negative dentry について http://d.hatena.ne.jp/hiboma/20140212/1392131530

[hiroshi_revolution]

一時ファイルとdentry cacheとメモリ - http://t.co/hvkqU5n0gQ