プロセスのメモリ使用量が少ないのにメモリ使用量が増加していた時に調査、対応したこと | DevelopersIO
はじめに メモリ使用率が上昇傾向のインスタンスについて調査をしましたので調査内容と対応内容についてご紹介します。 初動調査 freeコマンドで確認 $ free -m total used free shared buffers cached Mem: 7986 7657 329 33 99 312 -/+ buffers/cache: 7246 740 Swap: 0 0 0 メモリ使用量は7246MB topコマンドで確認 topの後にshift + m top - 12:40:32 up 36 days, 12:26, 1 user, load average: 0.00, 0.01, 0.05 Tasks: 96 total, 1 running, 95 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100
cachectld〜無駄なページキャッシュの削除を自動化〜 | メルカリエンジニアリング
原稿の執筆が一段落して心に余裕が出てきた@cubicdaiyaです。 今回はサーバを運用しているとありがちなページキャッシュに関する問題とメルカリのアプローチについて解説します。 Fluentdによるログ転送 話は変わりますが、メルカリの各サーバ上ではプログラムが吐いたログデータをKibanaやNorikraといった各種コンポーネントに転送するためにFluentdが稼働しています。各ログデータは原則単一のファイルに追記されてFluentdのtailプラグインによって各所に転送されていきます。 ログデータのサイズはまちまちで、1日で数GB程度のログデータもあれば数十GB以上のログデータもあります。 ページキャッシュと巨大なログファイル 各サーバに吐かれるログデータのサイズはサーバに搭載されているメモリのサイズと比べると1日分だけでもかなりの量になります。そして、このように絶えず書き込まれる巨
Linuxにおける各種メモリについて - Tech random memoranda
Linuxで扱う様々な種類や単位のメモリについてまとめておく。また、メモリというリソースに関する制御や管理について考察する。 ulimit $ ulimit -a | egrep "memory|stack" max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited stack size (kbytes, -s) 8192 virtual memory (kbytes, -v) unlimited max locked memory - mlockシステムコールを使うことにより、メモリの内容がディスク上にスワップされないようにする（=Lockする）ことができる。その最大容量。 max memory size - 静的（スタック領域）や動的（ヒープ領域）に確保するメモリの最大容量。 virtual mem
negative dentry と tmpfs で negative dentry がキャッシュされない理由について調べた - hibomaの日記
kazeburo さんの 一時ファイルとdentry cacheとメモリ を読んでからしばらくファイルシステム周りを調べていたのでした。 先のエントリで /tmp のファイル作成/削除を繰り返して dentry キャッシュ がもりもり溜まっていくのは negative dentry であることが理解できました。 negative dentry とは negative dentry とは 存在しない inode に対応する dentry です。 dentry キャッシュの役割は RAM より低速な HDD や SSD などの二次記憶装置からのディレクトリエントリの読み取りをメモリにキャッシュしておき高速化するためですが、negative dentry をキャッシュすることで存在しないディレクトリエントリの読み取りもキャッシュされます。 「存在しないのにキャッシュ？」がしばらくイミフだったので
革命の日々！ 続 @ITのmeminfoの見方の説明が完全に間違っている件について
http://www.atmarkit.co.jp/flinux/rensai/tantei01/bangai01c.html 続く drop_caches の説明も間違ってる 0. デフォルト状態に戻す場合 # echo 0 > /proc/sys/vm/drop_caches と書かれているが、当該箇所のソースは以下である linux/fs/drop_caches.c int drop_caches_sysctl_handler(ctl_table *table, int write, struct file *file, void __user *buffer, size_t *length, loff_t *ppos) { proc_dointvec_minmax(table, write, file, buffer, length, ppos); if (write) { if
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
"PHP Fatal error: Allowed memory size of xxx" で落ちる前にできること - ぷぎがぽぎ
PHP Advent Calendar 2013 - 7日目 昨日は@hidenorigotoさんのBeyond MVCでした。 今日は PHPあるある的な問題に対する対策について少しばかり書きたいと思います。 ※ 歯ブラシを持たせてみた *1 メモリ不足でよくやる対応 PHPで大量のデータを扱ったりすると、設定された利用可能な最大メモリ使用量を超えて PHP Fatal error: Allowed memory size of 524288330 bytes exhausted (tried to allocate 351 bytes) in ....というエラーが発生して対応に追われたことの経験がある人はかなり多いと思います。 そもそも環境のメモリに余裕があるならmemory_limitを調整してメモリの使用量を増やしたり あまり余裕がない場合は暫定的対応として、該当処理部分だけ <
dentry cacheの解放 - wyukawa's diary
メモリ使用量がずっと増え続けているマシンがあったんだけどtop+shift+mしても別に特定のプロセスがメモリを食いつぶしているわけではないので原因が分からなくて困ってました ambari-serverとprestogresが動いているマシンで同じ傾向だったことから状況証拠としてはpostgresqlが怪しいんだけどpostgresql再起動しても状況変わらなかったです。ちなみにOSはCentos 6.5です。 で、結論から言うとどうもdentry cacheが原因で sudo /sbin/sysctl -w vm.drop_caches=2すればメモリががつっと減りました。 一番メモり使用量が大きかったマシンだと/proc/meminfoのSlabが38GBぐらい占めててslabtopでdentryが多いのを確認してキャッシュを解放しました。 そうすると以下のようにがつっと減りました。こ
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
Macのメモリ使用量をコントロールする方法 | ライフハッカー・ジャパン
Mac OS Xは、パワフルで華麗なオペレーティングシステムですが、実はその華やかさのために色々な犠牲を伴っています。ほとんどのユーザーはチェックしないでしょうが、日常的に使うアプリの大半が信じられないほど沢山のメモリを使用しています。そのため、システムメモリの大半を消費してしまい、新しく購入したばかりのMacが遅く感じる時があるはずです。 そこで今回は、なぜMacのメモリ使用量をモニタリングした方が良いのか？ どうやってモニタすれば良いのか？ そして、メモリ使用ランキングでどういったアプリが上位にいるのか？ をお教えしたいと思います。 ■何故メモリに注目しなければならないのか？ 例えば、アプリを起動すると、プロセッサーはハードディスク上に保管されたデータを、RAMと呼ばれるMacのメモリに読み込んで処理を行います。RAMに読み込まれたデータは、ハードディスクから読み込む速度より格段に速く
ReadMe (Libera Memory)
Libera Memory Mac OS X はディスクアクセス時に生成される IO バッファをメモリ内にキャッシュとして保持し続けます。再度ディスクアクセスが発生した時にそのバッファキャッシュを使うことで処理を速くする仕組みになっています。この仕組みを Unified Buffer Cache（UBC）といいます。 アクセスがなければ古いバッファキャッシュから消えていきます。普通に OS を使う程度であれば、UBC は快適さを提供してくれます。しかし、たとえば巨大なファイルを多量に次から次へと処理し続けるような状況では、再利用されることのない不要なバッファキャッシュがどんどん溜まり、物理メモリの空き容量が圧迫されてシステムのパフォーマンスが低下してしまうことがあります。 技術には必ず「落としどころ」があります。それが優れた技術であるならなおさらです。UBC もすべての状況でその利点を発揮
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux スラブ・アロケーターの徹底調査