Getting the most out of your NVMe SSD
Getting the most out of your NVMe SSD Charles Rose Lakshmi Narayanan Durairajan Red Hat Summit June 2015 2 Agenda • NVMe – A Brief Introduction – What is NVMe – Why NVMe • Overview of NVMe Components • NVMe SSD vs. SAS SSD • NVMe Usage Scenarios and Performance – File Systems on NVMe – dm-cache – Mariadb NVMe – A Brief Introduction 4 NVMe (Non-Volatile Memory Express) • A specification for accessi
XFS File-System Has Many Changes For Linux 3.18 - Phoronix
XFS File-System Has Many Changes For Linux 3.18 Written by Michael Larabel in Linux Storage on 13 October 2014 at 01:35 PM EDT. Add A Comment Dave Chinner sent in the XFS feature pull request for the Linux 3.18 kernel. Changes for the XFS file-system with Linux 3.18 include: - Various cleanups - Log recovery debug hooks - Seek hole/data implementation merge - Extent shift rework to fix collapse ra
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
Re: making file system block size bigger to improve hdfs performance ?
By default, Linux file systems use a 4K block size. Block size of 4K means all I/O happens 4K at a time. Any *updates* to data smaller than 4K will result in a read-modify-write cycle on disk, ie, if a file was extended from 1K to 2K, the fs will read in the 4K, memcpy the region from 1K-2K into the vm page, then write out 4K again.If you make the block size 1M, the read-modify-write cycle will re
xfs_fsrを使ってXFSファイルシステムをベストの状態で使用する
大規模なファイルの保存／アクセスで性能を発揮するXFSファイルシステム。フラグメント化したファイルをデフラグするユーティリティ「xfs_fsr」を使えばシステムの性能を向上させることができる。 XFSファイルシステムは大規模なファイルの保存／アクセスについての性能が高いことで知られている。XFSの設計はエクステントベースで、ファイルの内容は1つ以上のエクステントと呼ばれる連続的な領域内に保存されている。XFSファイルシステム内のファイルは、ユーザーの使い方によってはフラグメント化することがあるが、xfs_fsrユーティリティを使ってそのようなファイルをデフラグすることでファイルアクセスについてのシステムの性能を向上させることができる。 ファイルをXFSファイルシステム上にコピーすると、通常は1つのエクステント内にファイルの全内容が保存される。しかしその後ファイルを延長したり新たなデータで内
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
64bitファイルシステム XFSの実装
XFSのジャーナリング機能 XFSのジャーナリング機能は、メタ・データをジャーナルする方式である。ext3のように、メタ・データを書き込む前にデータをディスクに書き込むといった特別な方式は取っていない。XFSの特徴は、ログを頻繁に更新することで、復旧時にこのログの手順を再生する確率を高めている点である。 例えば、XFSはwriteなどのオペレーションが行われると、オペレーションのログとしてメタ・データの更新操作情報がメモリ上のバッファに書き込まれる(1)。バッファのデータは、ディスクに書き込まれるとジャーナルファイルとなる(2)。このディスクへの書き込みは非同期に行われる。ジャーナルファイルの書き込みが完了すると、リソースをディスクに書き込む。クラッシュ後の復旧は、マウント時にジャーナルファイルが読み込まれ、メタ・データのチェックを行うことで実行される。 XFSのジャーナルログの構造 XF
ブロックアルゴリズムとB-Treeアルゴリズム
ファイルサーチを高速化するB-Treeアルゴリズム ext2、ext3がベースとするブロックアルゴリズムは、ブロック数が対応するディスクのジオメトリ数に制限されること、ファイルサーチにO（n）かかる（注）こと、ファイルサイズに関係するパフォーマンス低下など、いくつかの問題があった。 注：「O（n）」とは、実行時間が入力の大きさ「n」に比例するアルゴリズムである。O（n）は「nのオーダー」または「オーダーn」と読む。後述する「O（log n）」は、アルゴリズムの計算量に関する議論の場合logの底は常に2で、O（log n）の方がO（n）よりも効率が良い。例えばn＝8の場合、O（log n）は入力8に対して3回の実行で済むが、O（n）は8回の実行となる。 ReiserFS、JFS、XFSといったファイルシステムでは、こうしたブロックアルゴリズムの限界に対して、早い段階からデータベースの技術をフ
Why buffered writes are sometimes stalled
Many people think buffered write (write()/pwrite()) is fast because it does not do disk access. But this is not always true. Buffered write sometimes does disk access by itself, or waits for some disk accesses by other threads. Here are three common cases where write() takes longer time (== causing stalls). 1. Read Modify Write Suppose the following logic. Opening aaa.dat without O_DIRECT/O_SYNC,
XFSの想定Q&A
RHEL 7のデフォルトファイルシステムがXFSになるので想定FAQを twitterでつぶやいた まとめ ext3/ext4からフォーマットせずにxfsへ移行できますか？ →できません。バックアップのリストアによる移行をおねがいします RHEL7でext3/ext4はつかえますか？ →引き続き利用可能です XFSで十分でかいとこまでいけるけどRHS買う必要あるの? →パフォーマンスや冗長性の要件にあわせてお選びください XFSって実績あるの？ →はい。RHEL5に対する追加製品、RHEL6のAdd-onとして過去数年販売しており実績がございます。もし何か問題があればサポートにご確認ください。 XFSってX font serverとまぎらわしい →そうですね XFSって16EBまでいけるってwikipediaに書いてるよ →サポート上限は実際に検証したサイズなので論理的な上限より小さいです
EBSのスナップショットについて | popowa
先日の #jawsug 福岡の会で、 https://twitter.com/#!/kaz_goto/status/167571575296634881 へーほーふー、知らなかったわーと思ってEBSのスナップショットだけにフォーカスして見ました。 記事 Amazon Elastic Block Store (EBS)->日本語 by AWS Feature Guide: Elastic Block Store ->英語 by AWS Amazon's Elastic Block Store explained ->英語 by RightScale About Elastic Block Store (EBS) ->英語 by RightScale 今更感なEBSの機能おさらい☆ 外付け出来るブロックストレージ 1Gから1Tまでのストレージ領域を作成出来る 同じアベーラビリティゾーン内のイン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf
Cloudera Hybrid Data Community
Ric Wheeler Architect and Manager, Red Hat May 5, 2011 ONE BILLION FILES: Pushing Scalability Limits of Linux File Systems Overview ● Why Worry about 1 Billion Files? ● Storage Building Blocks ● Things File Systems Do & Performance ● File System