Alluxio - Data Orchestration for the Cloud
wHAT’S NEW ALLUXIO WEBINAR | 10X Faster trino queries on your data platform As Trino users increasingly rely on cloud object storage for retrieving data, speed and cloud cost have become major challenges. The separation of compute and storage creates latency challenges when querying datasets; scanning data between storage and compute tiers becomes I/O bound. On the other hand, cloud API costs rel
RHD補足資料 （Pagecache/swap） 2008/7/11 Tatsuo Kawasaki @kernel023
Presto is a distributed SQL query engine that Treasure Data provides as a service. Taro Saito discussed the internals of the Presto service at Treasure Data, including how the TD Presto connector optimizes scan performance from storage systems and how the service manages multi-tenancy and resource allocation for customers. Key challenges in providing a database as a service were also covered, such
linux-fincoreを使ってページキャッシュを覗く
ページキャッシュにどれだけページが載っているかを調べたいなーと思うと、 ファイルがページキャッシュに乗っているかどうかを調べる というのがよく引っかかって、 そもそもfincoreってどっから出てきた名前なんだと思ったらlinux-ftoolsというところに行き着いた。 linux-ftoolsはApacheライセンスで、PerlとINLINE Cで書かれたfincoreはGPLv2なんだけど、 どっちが本家なんだかもともとオリジナルがあるのかよく判らない。 取り敢えずlinux-ftoolsを落としてきてコンパイル。 ダウンロード可能なtarballが存在しないので、hgとやらでcloneするしかなさそう。 hgコマンドが入ってなかったので、mercurialパッケージを突っ込んでから（恥ずかしながらこれ知らなかった。。） $ sudo yum install -y mercurial
VFS and Block I/O
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. VFS and Block I/O VA Linux Systems Japan Hirotaka.Sasaki sasaki@valinux.co.jp Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. 目次 ● ファイルシステム概要 ● VFS（仮想ファイルシステム） ● ページキャッシュとバッファキャッシュ ● ブロックI/O共通レイヤ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ファイルシステム概要 Copyright (C) 2002, VA Linux Systems Japa
Page Cache, the Affair Between Memory and Files
Previously we looked at how the kernel manages virtual memory for a user process, but files and I/O were left out. This post covers the important and often misunderstood relationship between files and memory and its consequences for performance. Two serious problems must be solved by the OS when it comes to files. The first one is the mind-blowing slowness of hard drives, and disk seeks in particu
systemtapでファイルシステムキャッシュのヒット率を見る
systemtapでファイルシステムキャッシュのヒット率を見る 2012-06-18 Linuxでは、自動的にメモリの空き容量をファイルシステムキャッシュ(以下単にキャッシュ)として使用するような仕組みが用意されている。MySQLでMyISAMを使う時のようにOSのキャッシュを使用するような仕組みを使っていたり、単にファイルをNFSで公開しているファイルサーバなどでは、このキャッシュがどの程度効くかによってかなりパフォーマンスが違ってくる。 多数のファイルが読みだされ、かつ読み出し対象ファイルの総容量が物理メモリ容量より多い場合(普通そうだと思うが)、どのくらいのキャッシュヒット率になっているかを知っておくのは、パフォーマンス改善の一助になる。しかし、あるファイルがキャッシュに載っているかどうかを調べたり、ファイルをキャッシュに載せたりするための単純なコマンドというのは実は存在していない(
Hoytech
vmtouch - the Virtual Memory Toucher Portable file system cache diagnostics and control Download from github Read the online manual vmtouch is a tool for learning about and controlling the file system cache of unix and unix-like systems. It is BSD licensed so you can basically do whatever you want with it. Quick install guide: $ git clone https://github.com/hoytech/vmtouch.git $ cd vmtouch $ make
ファイルがキャッシュに乗ってのっているかどうかを調べる - so what
Linux上のとあるファイルがページキャッシュに乗っているかどうかを調べたいなーと思ってGoogle先生にご相談したところ、こんなコマンドを教えてくれた。 ファイルをメモリにマップして、mincore(2)でページごとにRAMに存在するかどうかをチェックしているらしい。 mmapしても即メモリにロードされるわけではないのかぁ。 Cの部分だけ抜き出して、単体で動かしてみた。 #include <errno.h> /* errno */ #include <fcntl.h> /* fcntl, open */ #include <stdio.h> /* perror, fprintf, stderr, printf */ #include <stdlib.h> /* exit, calloc, free */ #include <string.h> /* strerror */ #includ
kernel:Memory Manage(1) Page Cache & Writeback - Simple is Beautiful
Linuxでは空いているMemoryは積極的にファイル用のCacheに使用する MemoryはPageという単位で分割して管理されており、Cacheに使用されているMemoryをPage Cacheと呼ぶ Memoryのチューニングのポイントは無駄なPage Cacheを残さないこと Page Cacheにデータを書き込んだ時点でProcessからの書き込み処理は終了するが、実際のデータの書き込みはHDDに後に書き込まれる(Writeback処理) LinuxにおけるWriteback処理は、"pdflush"というデーモンが担当する "pdflash"デーモンのパラメータ パラメータ 内容 vm.dirty_backgroudo_ratio Processの書き込み処理は終了したがまだWritebackされていないPageの、全物理Pageに対する割合(%)が"vm.darty_back
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Feh/nocache: minimize caching effects
Simon Krenger