LKML: Kent Overstreet: [ANNOUNCE] bcachefs - a general purpose COW filesystem
For those who haven't kept up with bcache, the bcache codebase has been evolving/metastasizing into a full blown, general purpose posix filesystem - a modern COW filesystem with checksumming, compression, multiple devices, caching, and eventually snapshots and all kinds of other nifty features. "Yet another new filesystem? Why?" Well, years ago (going back to when I was still at Google), I and the
LinuxのSSD設定 - Qiita
概要 SSDで寿命とかパフォーマンスを改善するために設定しておいた方が良い点のまとめです。 よくある系のネタですが、久しぶりにSSD設定見なおしたら勘違いしてた点がいくつかあったので備忘を兼ねて残します。目次見て「こんなの常識だよね」って思った方はスルーしてくださいm(_ _)m 基本 firmwareを最新化する kernel/osはなるべく新しいものを使う 新しいファイルシステムを使う(多分今のところext4が一番良さそう) swapしないようメモリを沢山積む TRIMを使う TRIMとは SSD上のデータは削除しても削除マークが付くだけで削除されません。 この状態のブロックにデータを書き込む場合、一度完全に消去してから書き込みます。 TRIMコマンドはOS上のファイルが不要になったことをSSDに伝えて明示的にデータの消去を行うコマンドです。 メリット TRIMを使わない場合、以前デー
XFS File-System Has Many Changes For Linux 3.18 - Phoronix
XFS File-System Has Many Changes For Linux 3.18 Written by Michael Larabel in Linux Storage on 13 October 2014 at 01:35 PM EDT. Add A Comment Dave Chinner sent in the XFS feature pull request for the Linux 3.18 kernel. Changes for the XFS file-system with Linux 3.18 include: - Various cleanups - Log recovery debug hooks - Seek hole/data implementation merge - Extent shift rework to fix collapse ra
ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
/usr/local とは何なのか - 破棄されたブログ
ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして
inotify FAQ (Frequently Asked Questions) | inotify - get your file system supervised
inotify FAQ (Frequently Asked Questions) Q: What is inotify? inotify is an inode-base file system notification mechanism. See About for more details. Q: What can I use inotify for? inotify is intended for use in all cases of monitoring filesystem events. See Why to use for more details. Q: Which kernels do support inotify? inotify has been merged to 2.6.13. Your kernel must be configured to compil
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
RHD補足資料 （Pagecache/swap） 2008/7/11 Tatsuo Kawasaki @kernel023
Presto is a distributed SQL query engine that Treasure Data provides as a service. Taro Saito discussed the internals of the Presto service at Treasure Data, including how the TD Presto connector optimizes scan performance from storage systems and how the service manages multi-tenancy and resource allocation for customers. Key challenges in providing a database as a service were also covered, such
linux-fincoreを使ってページキャッシュを覗く
ページキャッシュにどれだけページが載っているかを調べたいなーと思うと、 ファイルがページキャッシュに乗っているかどうかを調べる というのがよく引っかかって、 そもそもfincoreってどっから出てきた名前なんだと思ったらlinux-ftoolsというところに行き着いた。 linux-ftoolsはApacheライセンスで、PerlとINLINE Cで書かれたfincoreはGPLv2なんだけど、 どっちが本家なんだかもともとオリジナルがあるのかよく判らない。 取り敢えずlinux-ftoolsを落としてきてコンパイル。 ダウンロード可能なtarballが存在しないので、hgとやらでcloneするしかなさそう。 hgコマンドが入ってなかったので、mercurialパッケージを突っ込んでから（恥ずかしながらこれ知らなかった。。） $ sudo yum install -y mercurial
VFS and Block I/O
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. VFS and Block I/O VA Linux Systems Japan Hirotaka.Sasaki sasaki@valinux.co.jp Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved. 目次 ● ファイルシステム概要 ● VFS（仮想ファイルシステム） ● ページキャッシュとバッファキャッシュ ● ブロックI/O共通レイヤ Copyright© 2002, VA Linux Systems Japan K.K. All right reserved. ファイルシステム概要 Copyright (C) 2002, VA Linux Systems Japa
Ext2 FS - Linuxカーネルメモ
パーティション全体に関する情報を持つ。 ・i-node数 ・ブロック数 ・空きブロック数 ・空きi-node数 など。 通常はブロックグループ0のスーパーブロックがプライマリとして使用される。他のブロックグループにあるスーパーブロックはバックアップとして使用される。ただし、全ブロックにバックアップがあるわけではない。 (Ref. to man dumpe2fs, man e2fsck, ext2_fs.h::struct ext2_super_block) ブロックグループ内に関する情報を持つ。 ・ブロックビットマップ領域のブロック番号 ・ i-nodeビットマップ領域のブロック番号 ・i-nodeテーブル領域のブロック番号 ・空きブロック数 ・空きi-node数 など。 自分のブロックグループに対するディスクリプタだけでなく。パーティション内の全ブロックグループのブロックディスクリプタが
ファイルシステムのblock sizeを調べるには at nkjmkzk.net
A Place to discuss Oracle VM, Linux and Other Great Software.A Place to discuss Oracle VM, Linux and Other Great Software. OSの内部構造（メモリとかファイルシステムとか）を見ているといろんな単位がでてきます。 セグメント ページフレーム ページ ブロック セクタ 等々。 ややこしい限りです。 たとえばページであれば現在のモダンなLinuxは4Kbyteが一般的です。 しかしファイルシステムのblock sizeとなるとデフォルト値はあるものの、ファイルシステム毎（ext2,ext3,jfs,xfs,reiserfs,ocfs2）にそのデフォルトが異なっていたりしますし、フォーマット時に指定可能な値なのでページサイズほど画一化されていません。よく使用するファイルサイ
Linuxにおけるファイル同期とクラスタリングファイルシステム
Linux環境でファイル同期を実現するのに、数多ある手法からいくつか雑感と共にまとめてみた。 今後、それぞれ検証してみる。 プロダクト名 incon + Unison lsyncd + rsyncd GlusterFS DRBD Lustre OCFS2 GFS2 ストレージ ディレクトリ,ファイル ディレクトリ,ファイル ディレクトリ(Fuse) ブロックデバイス ブロックデバイス ブロックデバイス ブロックデバイス プロトコル inotify + rsync? inotify + rsync 独自 独自 独自 独自 独自 C/S構成 C x N + S x N C x N + S x N C x N + S x Y C + S, (C + S) + C MetaData (1 ~ 2) + C x N + S x Y (C + S) x N (C + S) x N レプリケーション 1
LinuxでZFSを利用するための「ZFS on Linux」、「実用段階」というバージョン0.6.1が公開される | OSDN Magazine
ZFS on Linuxプロジェクトは3月28日、ZFSのLinux向けポーティングの最新版「zfs-0.6.1」を公開した。デスクトップからスーパーコンピューターまで、幅広い環境で利用できる段階に達したという。 ZFSは米Sun Microsystems（現在は米Oracleに吸収合併されている）がSolaris向けに開発した高機能ファイルシステム。ZFS on Linux（ZoL）は、このZFSをLinuxで利用するために発足したプロジェクトとなる。「Solaris Porting Layer（SPL）」をベースとしたZFSポートで、Linuxのカーネルモジュールとして実装されているため性能に優れるという。 ZFSがLinux上で実際に利用できる段階となってから2年以上が経過しており、zfs-0.6.1ではデスクトップからスーパーコンピューターまで幅広い環境で利用できる段階に達したと報
Adminpanel
JavaScript is disabled on your browser. Please enable JavaScript to use correctly mesosadmin frontend Please login Login Password Forgot your personal password ? We can remind you
ext4なファイルシステム環境を使う際の注意点 - Shaw's Home Page（本館）
つい先日こんな日記を書いた。 サーバのHDD 原因はディスクI/Oだ！という結論は決して間違っていなかったんだけど、根本的なことを理解していなかったばっかりに、この日記を書いたあとも多いにはまりましたよ…という話。 そもそも今回の件って、さくらインターネットの専用サーバを新規に借りて、そこにRHEL6をのっけたところがスタートだったわけです。で、サーバが利用できるようになってから、サイトのセットアップを済ませ、いざ運用テストを行ってみた段階で、DBに対する書き込みのパフォーマンスが全然あがらない。なのでHDDの障害を疑って、そして再セットアップまで行ってもらったというのが前回の話。 ただ、再セットアップしてもらった環境で、改めてベンチマークとってスループットチェックを行っても、全然パフォーマンスが変わらないわけです。ベンチマークに利用したdbenchの傾向として、Flash項目だけずばぬけ
systemtapでファイルシステムキャッシュのヒット率を見る
systemtapでファイルシステムキャッシュのヒット率を見る 2012-06-18 Linuxでは、自動的にメモリの空き容量をファイルシステムキャッシュ(以下単にキャッシュ)として使用するような仕組みが用意されている。MySQLでMyISAMを使う時のようにOSのキャッシュを使用するような仕組みを使っていたり、単にファイルをNFSで公開しているファイルサーバなどでは、このキャッシュがどの程度効くかによってかなりパフォーマンスが違ってくる。 多数のファイルが読みだされ、かつ読み出し対象ファイルの総容量が物理メモリ容量より多い場合(普通そうだと思うが)、どのくらいのキャッシュヒット率になっているかを知っておくのは、パフォーマンス改善の一助になる。しかし、あるファイルがキャッシュに載っているかどうかを調べたり、ファイルをキャッシュに載せたりするための単純なコマンドというのは実は存在していない(
最近のLinuxで有効になっているI/Oバリア機能と、RDBへの影響 | Unofficial DB2 BLOG
比較的新しいカーネルを採用したLinuxディストリビューションでは、ファイルシステムのI/Oバリア (I/O barrier)機能がデフォルトで有効になっています。例えばRedhat Enterprise Linux (RHEL) 6やSUSE Linux Enterprise Server (SLES) 11等はインストール直後の状態でext4ファイルシステムのI/Oバリアが有効になっているようです。 I/Oバリアは簡単にいうと、「バリア命令」の後で発行されたI/Oは、バリア命令の前に発行されたI/Oの後に必ず実行されるようにする仕組みです。つまりI/Oの順序（物理ディスクに反映される順番）をまもらせる仕組みといえます。 ファイルシステムにI/Oバリア機能が追加されたのは、ファイルシステムが不整合な状態になる可能性を減らすためです。 そもそも、急な電源断でもファイルシステムの不整合が起こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Feh/nocache: minimize caching effects
Ric Wheeler Architect and Manager, Red Hat May 5, 2011 ONE BILLION FILES: Pushing Scalability Limits of Linux File Systems Overview ● Why Worry about 1 Billion Files? ● Storage Building Blocks ● Things File Systems Do & Performance ● File System