Linux のオーバーコミットについて調べてみた
Linux のオーバーコミットについて調べてみた Linux のオーバーコミットのはなし（これを書いたのは Linux 2.6.38 のとき） Linux カーネルは実メモリ以上にメモリをプロセスに割り当てることができる この仕組みをオーバーコミット (over-commit) と呼ぶ オーバーコミットでは，とりあえずメモリを malloc させて仮のアドレスを返しておき， 実際に使われる段になってはじめて実メモリを確保する． 実験ただ malloc し続けるだけのプログラムを作って実験してみる． このプログラムをメモリ 1 GB + スワップ 1 GB のホストで実行してみると， $ free -t total used free shared buffers cached Mem: 1022404 82992 939412 0 4172 12280 -/+ buffers/cache:
Understanding Memory
Our context for this discussion is the AICT Linux Cluster, which runs 64-bit GNU/Linux on AMD Opteron hardware. If you have a comment or question about the material presented, please send a note to research.support@ualberta.ca. Contents Introduction Programs and Processes Storage Class and Scope Program Size Memory Map Call Stack Page Table Libraries Memory Limits Memory Allocation Implementation
21 メモリ階層
メモリ階層 RAM(Random Access Memory)：理想的には整数（address）で添え字が付けられたＮ語の記憶領域。取り出しと格納は添え字で指定された語に対してのみ行われ、どちらも同様に早い。 しかし、格納できる語数（大きさ） ←トレードオフ→ アクセスの早さ ⇒ 小さな高速メモリ（高頻度アクセス）と大きな低速（安価）メモリ（その他のデータ）の組み合わせ しかし、この使い分け、管理をプログラマが行うのは大変。⇒ キャッシュ機構 キャッシュ機構の下でプロセッサがアドレスxの値にアクセスする際には： キャッシュをアクセス。 キャッシュになければ（cash miss）主記憶をアクセス。 主記憶の内容をキャッシュにコピー。これで次回からはキャッシュで見つかる（キャッシュ・ヒット、cash hit）。 場所を空ける必要があれば古いものを主記憶に掃き出す。 キャッシュ機構 直接マップ方
プログラミング :: 高速なプログラムを書く為に :: メモリ
3. メモリ さて、プログラムの最適化で一番重要になってくるのは、メモリです。 はっきり言って、数値計算をするプログラムの一番のボトルネックはメモリアクセスです。 下手なプログラムを書くと、計算時間の殆どがメモリアクセスの時間という事になりかねません。 昔は、メモリの動作速度は高速でその様な事はなかったのですが、 最近では CPU の性能向上が激しく、メモリに追いつき追い越し物凄い差を付けてしまいました。 CPU の動作について行ける様な速さで動作するメインメモリは高価になってしまい作れません。 まあ、値段の問題は抜きにしたとしても、CPU の動作は速すぎます。 これは、少し計算してみれば直ぐに分かります。 今売られている CPU では、コアのクロック周波数が高い物では 4GHz になります。 例えば 4GHz の CPU で 1 clock の間に光が進む距離を考えると、 3×1010
メモリのフラグメンテーションとGC - GC Advent Calendar - I am Cruby!
Garbage Collection Advent Calendarの13日目の記事です（よくぞここまで…）。 フラグメンテーションの話。GC Handbookには以下の2種類のfragmentationがあることが記されています。 external fragmentation internal fragmentationそれぞれ見てみましょう。 external fragmentationexternal fragmentationはみなさんがよく知ってるやつだと思います。 シンプルなfreelistによるメモリアロケータ(K&R mallocとか）をずーっと使い続けていると、そのうちにfragmentationが発生して、以下の図のように小さな領域が飛び飛びに空いた状態になる可能性があります。 こうなると合計の空き領域は要求サイズを満たすものの、実際には外側に渡せるサイズはとても小さな
Anatomy of a Program in Memory
Memory management is the heart of operating systems; it is crucial for both programming and system administration. In the next few posts I'll cover memory with an eye towards practical aspects, but without shying away from internals. While the concepts are generic, examples are mostly from Linux and Windows on 32-bit x86. This first post describes how programs are laid out in memory. Each process
CPU Cache Flushing Fallacy
Even from highly experienced technologists I often hear talk about how certain operations cause a CPU cache to "flush". This seems to be illustrating a very common fallacy about how CPU caches work, and how the cache sub-system interacts with the execution cores. In this article I will attempt to explain the function CPU caches fulfil, and how the cores, which execute our programs of instruction
How The Kernel Manages Your Memory
After examining the virtual address layout of a process, we turn to the kernel and its mechanisms for managing user memory. Here is gonzo again: Linux processes are implemented in the kernel as instances of task_struct, the process descriptor. The mm field in task_struct points to the memory descriptor, mm_struct, which is an executive summary of a program's memory. It stores the start and end of
C++: Custom memory allocation
Fast memory allocations along with memory leak detection can have a big impact on games performance. C++ provides two well known functions to allocate dynamic (heap) memory (malloc and new), these functions are usually very slow because they're general purpose functions and in some implementations require a context-switch from user mode into kernel mode. These functions also do not provide any kin
Taming The Unicorn: Easing JavaScript Memory Profiling In Chrome DevTools
Taming The Unicorn: Easing JavaScript Memory Profiling In Chrome DevTools April 11, 2013 “The Unicorn has a special ability to help it's master when in trouble. When tamed, they will not attack humans or tamed creatures, but will attack anything else with negative karma" The DevTools Heap Profiler and Timeline Memory view can be used to diagnose memory leaks on both desktop and mobile (via remote
What Every Programmer Should Know About Memory (PDF)
What Every Programmer Should Know About Memory Ulrich Drepper Red Hat, Inc. drepper@redhat.com November 21, 2007 Abstract As CPU cores become both faster and more numerous, the limiting factor for most programs is now, and will be for some time, memory access. Hardware designers have come up with ever more sophisticated memory handling and acceleration techniques–such as CPU caches–but these canno
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【後藤弘茂のWeekly海外ニュース】 多様化でDRAMが変わる、メモリ階層が変わる