Linux Page Cache Hit Ratio
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
cachectldでOSのページキャッシュ削除を自動化 - Qiita
サーバを運用していると時々全然メモリが余っているはずなのにスワップが起きてしまうことがあります。この場合よくあるケースは非常に大きなログファイルがあってそのログファイルのために大量のページキャッシュが利用されていることです。 ログファイルなんて滅多に読まないので、そんなのにメモリ使うぐらいだったらもっと別のアプリケーションにちゃんと割り当ててくれよと思うのですが、なかなかうまくいかないものです。 そこで効果的なのがposix_fadivseをラップして指定したファイルのページキャッシュを解放するツールです。 ページキャッシュがどんどん増えている…そんな時に役立つワンライナー ファイル指定で、ページキャッシュにのっているか確認したり追い出したり 私の場合、今まではnocacheというツールをちょこっと改造して使っていましたが、最近もうちょっと便利な風に改造したいと思うようになってきました。例
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
米Facebook、SSDをキャッシュとして利用するための技術「FlashCache ⒊0」を公開 | OSDN Magazine
米Facebookは10月10日、Linux向けの汎用キャッシュ技術「FlashCache ⒊0」を公開したことを発表した。SSDをキャッシュ用ストレージとして利用するための技術で、コストを抑えつつ性能を強化できるという。 FlashCacheはSSDをキャッシュデバイスとして使用するためのオープンソースプロジェクトで、Facebook社内で2010年にスタートした。Linuxカーネルデバイスラッパーのターゲットとして実装するというソフトウェアベースのアプローチをとる。データ書き込み時にHDDと同時にSSDにも書き込みを行い、読み出し時にはSSDを参照する。Facebookがユーザーデータを保持しているというMySQLとInnoDBエンジンと連携して動作するよう開発されているが、Linuxシステムのキャッシュシステムとしても利用できるという。 ⒊0は新しいブランチとなり、読み出しと書き込み
RHD補足資料 （Pagecache/swap） 2008/7/11 Tatsuo Kawasaki @kernel023
1. RHD補足資料 （Pagecache/swap） 2008/7/11 Tatsuo Kawasaki 1 @kernel023 Rev RH236-20080711 Tatsuo Kawasaki 2. 1. アドレスについての復習(1) • メモリとページ • 物理メモリの位置を表現する物理アドレス • アーキテクチャ毎に異なるリニアアドレス (x86=32bit= 約 4G,x86_64=64bit=16EB※) • 上記アドレスの処理は H/W のメモリ管理ユニット (MMU) で行う • 変換テーブルはカーネルが用意しておく • アーキテクチャ毎にメモリを扱う単位が決まっている ＝ページサイズ (x86,x86_64=4KB, IA64= カーネル構築時に選択可 :8k,16k.. 等 ) 2 ※ 現在の CPU アーキテクチャでは 16EB の全てはユーザー / カーネルメ
カーネル２．６の実力を探る NTTコムウェア株式会社 Linuxセンタ 佐々木博正
Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003/10/10 Copyright NTT COMWARE 2003 Linux Kernel Conference 2003
linux-fincoreを使ってページキャッシュを覗く
ページキャッシュにどれだけページが載っているかを調べたいなーと思うと、 ファイルがページキャッシュに乗っているかどうかを調べる というのがよく引っかかって、 そもそもfincoreってどっから出てきた名前なんだと思ったらlinux-ftoolsというところに行き着いた。 linux-ftoolsはApacheライセンスで、PerlとINLINE Cで書かれたfincoreはGPLv2なんだけど、 どっちが本家なんだかもともとオリジナルがあるのかよく判らない。 取り敢えずlinux-ftoolsを落としてきてコンパイル。 ダウンロード可能なtarballが存在しないので、hgとやらでcloneするしかなさそう。 hgコマンドが入ってなかったので、mercurialパッケージを突っ込んでから（恥ずかしながらこれ知らなかった。。） $ sudo yum install -y mercurial
SSDをHDDのキャッシュにする「bcache」、Linuxカーネルに登場
次期Linuxカーネルバージョン3.10の目玉機能のひとつになるとみられる「bcache」がカーネルソースツリーにマージされた。bcacheはLinuxのカーネルレベルで動作するブロックレイヤキャッシュの実装系。特定のデバイスを他のデバイスのキャッシュとして利用できるという機能。ここでは主にHDDのキャッシュとしてSSDを活用するケースが想定されている。 bcacheが提供するキャッシュ機能はZFSのL2Arcの動作に似ているが、bcacheはライトバックに関してもキャッシュを実施するという違いがある。デフォルトの設定ではシーケンシャルアクセスに対してはキャッシュを提供せず、ランダムI/Oに対してキャッシュを提供する。SSDの特性を活かし、もっとも効果がでるケースでSSDを動作させる。実装はトランスパレントになっており、利用するにあたってアプリケーションやユーザ側に変更の必要はない。 bc
VFS and Block I/O
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. VFS and Block I/O VA Linux Systems Japan Hirotaka.Sasaki sasaki@valinux.co.jp Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. 目次 ● ファイルシステム概要 ● VFS（仮想ファイルシステム） ● ページキャッシュとバッファキャッシュ ● ブロックI/O共通レイヤ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ファイルシステム概要 Copyright (C) 2002, VA Linux Systems Japa
Data Center
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
Linuxhack.jp » キャッシュバッファの制御
pdflushを制御してLinuxのキャッシュバッファのチューニングを考えてみたいと思います。 kernel2.6系から書き込みに関するキャッシュバッファ管理はpdflushによって実現されています。これはkernel2.4系の時代にはbdflush+kupdateの組み合わせで実現されていたものです。このpdflushを制御することにより、ディスクI/Oを向上させる可能性があります。 ※ 当然ですが、パフォーマンスが向上するか否かは環境によります。 ・Linuxの遅延書き込み機構（ざっくりと） 一応、前提となる遅延書き込みについて簡単に触れておくと、データの書き込みは1次記憶装置から2次記憶装置へ・・・みたいな感じで、徐々に記憶容量の多いほうに渡されていきます。一般的に記憶容量が多くなるに反比例して記憶装置へのアクセスは遅くなりますね。 要はメモリからHDDへのディスク媒体にデータが書
/proc and /sys tricks
Really the sysfs and /proc filesystems are worlds of magic and fantasy. Each day I discover a new trick using this filesystems. So, I decided to post a short summary of my favorites ones. Enjoy and feel free to add your tricks in comments, maybe we can a /proc and /sys knownledge database in a post 🙂 1. Scanning for LUNs in attached FC (or any other SCSI compliance host). echo "- - -" > /sys/clas
The Linux Page Cache and pdflush
The Linux Page Cache and pdflush: Theory of Operation and Tuning for Write-Heavy Loads As you write out data ultimately intended for disk, Linux caches this information in an area of memory called the page cache. You can find out basic info about the page cache using tools like free, vmstat or top. See http://gentoo-wiki.com/FAQ_Linux_Memory_Management to learn how to interpret top's memory infor
perf statでL1,L2(,L3)キャッシュミス測定 - 俺とお前とlaysakura
この記事は↓に移転しました。 laysakura.github.io
perf stat でパフォーマンスカウンタの値を直接指定し表示 - 俺とお前とlaysakura
この記事は↓に移転しました。 laysakura.github.io
systemtapでファイルシステムキャッシュのヒット率を見る
systemtapでファイルシステムキャッシュのヒット率を見る 2012-06-18 Linuxでは、自動的にメモリの空き容量をファイルシステムキャッシュ(以下単にキャッシュ)として使用するような仕組みが用意されている。MySQLでMyISAMを使う時のようにOSのキャッシュを使用するような仕組みを使っていたり、単にファイルをNFSで公開しているファイルサーバなどでは、このキャッシュがどの程度効くかによってかなりパフォーマンスが違ってくる。 多数のファイルが読みだされ、かつ読み出し対象ファイルの総容量が物理メモリ容量より多い場合(普通そうだと思うが)、どのくらいのキャッシュヒット率になっているかを知っておくのは、パフォーマンス改善の一助になる。しかし、あるファイルがキャッシュに載っているかどうかを調べたり、ファイルをキャッシュに載せたりするための単純なコマンドというのは実は存在していない(
5 ways to improve HDD speed on Linux
(If you still think this post is about making windows load faster, then press ALT+F4 to continue) Its a fine sunny sunday morning. Due tomorrow, is your presentation to a client on improving disk-I/O. You pull yourself up by your boots and manage to climb out of bed and onto your favorite chair... Aahh thats better... You jump into the couch and turn on your laptop and launch (your favorite presen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tobert/pcstat · GitHub - Page Cache stat: get page cache stats for files on Linux
GitHub - Feh/nocache: minimize caching effects
Linux Kernel Tuning for GlusterFS