Linux メモリ断片化 (外部フラグメンテーション) の概要と解消方法 - Qiita
■ 記事概要 Linux OS におけるメモリ断片化 1 ( 以降、断片化 ) について、調査したことのまとめ。 ■ 要約 断片化していると、空きメモリが十分あるにも関わらず、メモリ確保に失敗することがある。 断片化の影響を受けるのは、DMA ( Direct Memory Access ) のように物理メモリ領域を直接参照する必要があるもの ( 仮想メモリを使える場合は、物理メモリ領域が連続している必要がないため影響なし )。 断片化のレベルは /proc/buddyinfo や /sys/kernel/debug/extfrag/unusable_index から確認可能。 明示的に断片化を解消する方法は、OS 再起動と、# echo 1 > /proc/sys/vm/compact_memory がある。 ■ 物理メモリ領域について 断片化の話の前に物理メモリ領域について整理する。
TOMCAT殺害事件 - Qiita
OOMKillerの殺意 顧客EC2のTomcatがアクセスの無い早朝にもかかわらずOOMKillerに突然殺されてしまったので、調査した顛末をたぶん同じような問題に直面されている方もおられるかと思いますので備忘録として記載します。 Javaヒープのチューニングにも多少役立つかと思います。 （この記事はJava8が対象となります。） OOMKillerとはOut of Memory時に、サーバ全体を守るためにメモリーを消費しているプロセスを停止するLinuxの標準機能です。 そのOOMKillerになんとTomcatが突然殺害されてしまいました。 問答無用の辻斬り状態です。 早朝ですのでアクセスログには何も記録されておらず、catalina.outには OpenJDK 64-Bit Server VM warning: Setting LargePageSizeInBytes has no
電源を切っても消えないメモリとの付き合い方
メモリのように書けて永続化される次世代ストレージデバイスNVDIMMの扱い方を解説します これは2019年10月19日に行われる予定だった カーネル／VM探検隊＠北陸 5回目(台風の影響で中止) での発表資料です サンプルコード: https://github.com/Fadis/kernelvm…
Linux メモリ管理を理解したい - Qiita
Linux カーネルのメモリ管理方法について、勉強したことをまとめる。 メモリ管理はハードウェアに強く依存するため、x86_64 かつ OS起動後に 64bitプロテクトモード に移行したあとに話を絞る。また、OS は CentOS7.6、カーネルは次のバージョンを利用する。 ]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) ]# uname -a Linux localhost.localdomain 3.10.0-957.21.3.el7.x86_64 #1 SMP Tue Jun 18 16:35:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 概要 ノイマン型アーキテクチャ コンピュータの基本的な構成のひとつ。次の図が参考になる。 ほぼ全てのコンピュータが、このアーキ
MySQLがメモリー不足の時に何をするか : トラブルシューティングガイド | Yakst
MySQLがメモリー不足で停止してしまった(OOM Killerに停止させられた)時に確認すべき項目を紹介する。特に、MySQLのバグでメモリリークが起きている可能性がある場合に手がかりを得る方法について。 [MySQL]原文 What To Do When MySQL Runs Out of Memory: Troubleshooting Guide - Percona Database Performance Blog (English) 原文著者 Alexander Rubin 原文公開日 2018-06-28 翻訳依頼者 翻訳者 doublemarket 翻訳レビュアー kakuka4430 原著者への翻訳報告 1948日前 原文へのコメントで報告済み 編集 クラッシュした時のトラブルシューティングが楽しいタスクであったためしはありませんが、クラッシュの原因をMySQLが教えてくれ
メモリのビット反転エラーとセキュリティの話｜Rui Ueyama
ハードウェアのエラーでメモリの内容が化けてしまうことが稀にある。大抵のDRAMエラーはせいぜいプログラムがクラッシュする結果になるだけだが、データ破壊になることもありえるし、悪意のある使い方をすればセキュリティ破りに使うこともできてしまう。ここではメモリエラーとセキュリティの話をしようと思う。 メモリのエラー率は意外なほど高い。データセンターで大規模なマシン群を対象に実際に観測したところ、1年間に1回以上のエラーが発生したDIMMモジュールは全体の8%にのぼったそうだ。DIMM 1枚に数百億個のメモリセルが実装されているといっても、このエラー率はちょっとびっくりするくらい大きな数字ではないだろうか？ サーバでは普通はエラー訂正付きのDIMMを使うので1ビットのエラーは問題にならないが、エラー訂正のないコンシューマ機器ではこれは実際的な問題になりえる。 メモリエラーを利用したセキュリティ破り
インテル、ついに不揮発性のメインメモリ「Intel persistent memory」発表、実稼働デモ公開。2018年に新型Xeon「Cascade Lake」とともに登場予定
Intel persistent memoryはデータの保持に電力を必要としない、不揮発性メモリの一種だ。データをメモリからストレージに保存する必要がなくなるなど、コンピュータのアーキテクチャを一変させる可能性を持つ。 現代のコンピュータは基本的にメインメモリとしてDRAMを利用しています。DRAMはアクセスが高速な一方、容量あたりの単価は高く、それゆえ大量にコンピュータに搭載することが難しく、またデータを保持し続けるのに電力を必要とします。 このDRAMの能力と性質を補完するため、一般に現代のコンピュータには二次記憶装置として大容量で安価かつ電力がなくてもデータを保持し続けられるハードディスクドライブなどのストレージを備えています。 こうした現代のコンピュータの構造を一変させようとインテルが5月16日に発表したのが、大容量かつ低価格、しかもデータの保持に電力を必要としない、同社とマイクロ
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
サーバの電源が失われてもメモリの内容は失わない、HPEが不揮発性メモリ「HPE 8GB NVDIMM」搭載の第9世代ProLiant発表
サーバの電源が失われてもメモリの内容は失わない、HPEが不揮発性メモリ「HPE 8GB NVDIMM」搭載の第9世代ProLiant発表 電源が落ちればメモリの内容は失われる。これは従来のコンピュータでは避けられません。そのため、失われると困る大事なデータはすべて永続的レイヤ、すなわちストレージに保存する必要がありました。 例えばデータベース処理を高速に行うためにデータをメモリに置くインメモリデータベースでも、万が一の時にトランザクションの内容を失わないように、つねにログをストレージに保存し続けています。 しかしストレージへの書き込みはメモリへの書き込みに比べて遅く、一般には処理時間にして数万倍から数百万倍も時間がかかるため、ストレージへの書き込み速度が全体の速度を制約しがちです。 もしも電源が落ちてもメインメモリの内容が失われないことが保証されるのであれば、いちいちストレージへデータを書
OutOfMemoryError の調べ方 - Qiita
OutOfMemoryError (以下 OOME)が起こったときにお手上げ状態にならないためにも、 Java のメモリ管理の仕組みとか、 OOME が起こったときの調査方法とかを調べる。 環境 OS Windows 7 > java -version java version "1.8.0_74" Java(TM) SE Runtime Environment (build 1.8.0_74-b02) Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode) Java 8 で、 Oracle の JVM を前提とした話です。 Java のメモリ管理 これを知っておかないと、 OOME が起こっても、メモリ内で何が起こっていて、どこを調査すべきで、どのように対処したらいいのかが判断できない。 なので、まずは、そもそも J
【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
はじめに linuxのメモリ利用容量(空き容量)の考え方 linuxのメモリ利用容量/空き容量の計算方法 ■RHEL7 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL6 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL5以前 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 蛇足 その1：無名ページとファイルページ その２：図解の内容のツッコミ その３：RHEL6の計算 その４：Inactiveを空き領域とすることは間違い。 はじめに linuxサーバを利用する上で何時も頭を悩ますものの一つが、メモリ利用状況の評価(メモリ利用率)ではないでしょうか。私も悩みます。そこで
Windows 10にメモリ圧縮機能が追加、メモリ不足時の動作が高速に。新しいBuild 10525で
Windows 10にメモリ圧縮機能が追加、メモリ不足時の動作が高速に。新しいBuild 10525で Windows 10の新しいビルド「Build 10525」では、メモリ不足時に発生するスワップアウトの代わりにメモリの内容を圧縮することで、スワップアウトによる動作速度の低下を抑える技術「Compression Store」が導入されています。 Windowsのブログにポストされた記事「Announcing Windows 10 Insider Preview Build 10525」で明らかにされました。 Compression Storeの動作は次のように説明されています。 This means that when Memory Manager feels memory pressure, it will compress unused pages instead of writi
『Google Chrome』のRAM消費を抑える方法 | ライフハッカー・ジャパン
『Google Chrome』は、既存の製品の中でもっとも優れたウェブブラウザと言えるかもしれません。しかし、パソコンのRAMを、まるで感謝祭の七面鳥でも平らげるみたいに消費してしまいます。 パソコンのタスクマネージャーを見たことがある人なら、きっと『Google Chrome』のプロセス数と、それらが独占するメモリ量を見て卒倒しそうになったことがあるでしょう。今回は、なぜ『Google Chrome』がこれほど多くのRAMを使用するのか、どうすればその旺盛な食欲を抑えることができるのかをお教えしましょう。 Google ChromeはこれだけのRAMを一体何に使っているのか？ ウェブの閲覧は、私たちが思う以上に複雑化してしまいました。考えてみてください。私たちがパソコンで行う作業のほとんどは、ブラウザの中で行われます。タブを開いたり、動画を見たり、ほかのプログラムと連携するウェブアプリや
x86のmov命令はチューリング完全
世の中には様々なチューリング完全なシステムがある。 本の虫: うっかりチューリング完全になっちゃったもの x86のMMUはチューリング完全である。 BGP(Border Gateway Protocol)はチューリング完全である。 http://vanbever.eu/pdfs/vanbever_turing_icnp_2013.pdf さて、x86の命令セットは極めて複雑で冗長であることが知られている。なんと、mov命令はチューリング完全であるそうだ。 http://www.cl.cam.ac.uk/~sd601/papers/mov.pdf もちろん、mov命令でメモリ上に任意のコードを書いて実行させればチューリング完全になるが、論文ではそのようなコード生成や自己書き換えによるイカサマは行っていない。また、アドレスモードもたいていのRISCにあるようなものしか使っていないという。 x8
Windows OSでサポートされている最大物理メモリサイズは？
対象OS：Windows 2000／Windows XP／Windows Vista／Windows 7／Windows 8／Windows 8.1／Windows 10／Windows Server 2003／Windows Server 2008／Windows Server 2008 R2／Windows Server 2012／Windows Server 2012 R2／Windows Server 2016 最近ではメモリも安価になり、システムに可能な限り多くのメモリを搭載して、パフォーマンスの向上を図ることも少なくない。特にサーバシステムでは、メモリを多く搭載しておけば、ファイル共有サービスやデータベースアプリケーションなどのキャッシュやワークエリアとして使われるのでシステムの応答性能などが向上する。仮想化プラットフォームなら、より多くの仮想マシンを稼働させることができる。
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
一時ファイルとdentry cacheとメモリ - blog.nomadscafe.jp
わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新世代のDDR4メモリがついに発売、8GB×2枚で実売3.6万円 端子の形状が大きく変化、SanMax製
Engadget | Technology News & Reviews
サービス終了のお知らせ