Zstd Compression For Btrfs & Squashfs Set For Linux 4.14, Already Used Within Facebook - Phoronix
Zstd Compression For Btrfs & Squashfs Set For Linux 4.14, Already Used Within Facebook Written by Michael Larabel in Linux Kernel on 8 September 2017 at 03:50 PM EDT. 13 Comments As we've been expecting, Zstd compression for Btrfs is coming with the Linux 4.14 along with Zstd support in SquashFS. Zstd/Zstandard was developed at Facebook and offers compression similar to zip/gzip but with faster sp
LizardFS – Distributed File System, Software Defined Storage, Server,
We provide professional technical support for our clients from all over the world. Our support team is always ready to help you – so don’t worry about your business continuity. We offer 3 levels of technical support: – Standard Technical Support (9-17 CET); – Enterprise Technical Support (9-17 CET + active monitoring of the cluster); – Enterprise Plus Technical Support (24/7 + active monitoring of
LKML: Kent Overstreet: [ANNOUNCE] bcachefs - a general purpose COW filesystem
For those who haven't kept up with bcache, the bcache codebase has been evolving/metastasizing into a full blown, general purpose posix filesystem - a modern COW filesystem with checksumming, compression, multiple devices, caching, and eventually snapshots and all kinds of other nifty features. "Yet another new filesystem? Why?" Well, years ago (going back to when I was still at Google), I and the
LinuxのSSD設定 - Qiita
概要 SSDで寿命とかパフォーマンスを改善するために設定しておいた方が良い点のまとめです。 よくある系のネタですが、久しぶりにSSD設定見なおしたら勘違いしてた点がいくつかあったので備忘を兼ねて残します。目次見て「こんなの常識だよね」って思った方はスルーしてくださいm(_ _)m 基本 firmwareを最新化する kernel/osはなるべく新しいものを使う 新しいファイルシステムを使う(多分今のところext4が一番良さそう) swapしないようメモリを沢山積む TRIMを使う TRIMとは SSD上のデータは削除しても削除マークが付くだけで削除されません。 この状態のブロックにデータを書き込む場合、一度完全に消去してから書き込みます。 TRIMコマンドはOS上のファイルが不要になったことをSSDに伝えて明示的にデータの消去を行うコマンドです。 メリット TRIMを使わない場合、以前デー
5.6 以前の InnoDB Flushing
Bind Peek をもっと使おうぜ！(柴田 歩) - JPOUG Advent Calendar 2014(Day 5) -歩 柴田
XFS File-System Has Many Changes For Linux 3.18 - Phoronix
XFS File-System Has Many Changes For Linux 3.18 Written by Michael Larabel in Linux Storage on 13 October 2014 at 01:35 PM EDT. Add A Comment Dave Chinner sent in the XFS feature pull request for the Linux 3.18 kernel. Changes for the XFS file-system with Linux 3.18 include: - Various cleanups - Log recovery debug hooks - Seek hole/data implementation merge - Extent shift rework to fix collapse ra
Improving Performance
Many Unix-like operating systems and distributions are tuned for desktop or light use out of the box and not for a production database. This guide describes recommended system performance tunings for operators of new and existing Riak clusters. The tunings present in this guide should be considered as a starting point. It is important to make note of what changes are made and when in order to meas
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
Re: making file system block size bigger to improve hdfs performance ?
By default, Linux file systems use a 4K block size. Block size of 4K means all I/O happens 4K at a time. Any *updates* to data smaller than 4K will result in a read-modify-write cycle on disk, ie, if a file was extended from 1K to 2K, the fs will read in the 4K, memcpy the region from 1K-2K into the vm page, then write out 4K again.If you make the block size 1M, the read-modify-write cycle will re
xfs_fsrを使ってXFSファイルシステムをベストの状態で使用する
大規模なファイルの保存／アクセスで性能を発揮するXFSファイルシステム。フラグメント化したファイルをデフラグするユーティリティ「xfs_fsr」を使えばシステムの性能を向上させることができる。 XFSファイルシステムは大規模なファイルの保存／アクセスについての性能が高いことで知られている。XFSの設計はエクステントベースで、ファイルの内容は1つ以上のエクステントと呼ばれる連続的な領域内に保存されている。XFSファイルシステム内のファイルは、ユーザーの使い方によってはフラグメント化することがあるが、xfs_fsrユーティリティを使ってそのようなファイルをデフラグすることでファイルアクセスについてのシステムの性能を向上させることができる。 ファイルをXFSファイルシステム上にコピーすると、通常は1つのエクステント内にファイルの全内容が保存される。しかしその後ファイルを延長したり新たなデータで内
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
64bitファイルシステム XFSの実装
XFSのジャーナリング機能 XFSのジャーナリング機能は、メタ・データをジャーナルする方式である。ext3のように、メタ・データを書き込む前にデータをディスクに書き込むといった特別な方式は取っていない。XFSの特徴は、ログを頻繁に更新することで、復旧時にこのログの手順を再生する確率を高めている点である。 例えば、XFSはwriteなどのオペレーションが行われると、オペレーションのログとしてメタ・データの更新操作情報がメモリ上のバッファに書き込まれる(1)。バッファのデータは、ディスクに書き込まれるとジャーナルファイルとなる(2)。このディスクへの書き込みは非同期に行われる。ジャーナルファイルの書き込みが完了すると、リソースをディスクに書き込む。クラッシュ後の復旧は、マウント時にジャーナルファイルが読み込まれ、メタ・データのチェックを行うことで実行される。 XFSのジャーナルログの構造 XF
ext3とトランザクション処理
kjournaldによるコミットとチェックポイント ext3では、トランザクションのコミット操作はカーネルスレッドである「kjournald」によって定期的に行われる。kjournaldは、Linuxに実装されているダイナミックタイマと呼ばれる時間管理のためのタイマ機構を利用し、これらのコミット操作が時系列に沿って実行されるようにする。 kjournaldは、カーネルから起動されるとインターバルが5秒ごとに実行されるタイマリストを作成する。個々のトランザクションは、このタイマリストに現在の時刻＋5秒後にコミットが実行されるようにタイマをセットする。kjournaldは5秒置きに起動し、コミットが予定されているトランザクションを登録していた場合は、そのトランザクションをコミットする。ext3では、コミットとチェックポイントはkjournaldの中に一緒に実装されており、コミットが完了するとチ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tripflex/inodes: Bash/Shell script to count inode usage
How Does File Deletion work in Linux
http://www.xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf
https://blogs.oracle.com/linux/post/entry/friday_spotlight_oracle_linux_and
google/jimfs · GitHub - An in-memory file system for Java 7+
Ceph アーキテクチャ概説
Cloudera Hybrid Data Community