タグ

linuxとfilesystemに関するNyohoのブックマーク (5)

  • Linux 5.0 File-System Benchmarks: Btrfs vs. EXT4 vs. F2FS vs. XFS - Phoronix

    Linux 5.0 File-System Benchmarks: Btrfs vs. EXT4 vs. F2FS vs. XFS Written by Michael Larabel in Storage on 7 January 2019 at 03:19 PM EST. Page 1 of 4. 61 Comments. With all of the major file-systems seeing clean-up work during the Linux 4.21 merge window (now known as Linux 5.0 and particularly with F2FS seeing fixes as a result of it being picked up by Google for support on Pixel devices, I was

    Linux 5.0 File-System Benchmarks: Btrfs vs. EXT4 vs. F2FS vs. XFS - Phoronix
  • ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ

    はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。記事では運用部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効

    ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ
    Nyoho
    Nyoho 2018/06/30
    素晴らしい。"4行の追加、2行の削除に過ぎませんが、ここにたどり着くまでに上記のような様々な試行錯誤がありました。これはソース修正の手間は変更の行数に比例しないといういい例"
  • Ubuntu 16.04 LTS、ZFSを正式サポート

    Ubuntu is a community developed operating system that is perfect for laptops, desktops and servers. 次期安定版リリースとなるUbuntu 16.04 LTSは、多くのUbuntuユーザーにとって、そしてLinuxユーザーにとって重要なバージョンになる可能性が出てきた。Ubuntuの開発者であるDustin Kirkland氏がこのほど、ブログに掲載した記事「ZFS is *the* FS for Containers in Ubuntu 16.04!」において、次期リリースとなる「Ubuntu 16.04 LTS (Xenial)」にてZFSが正式サポートされることを発表したのだ。メジャーなLinuxディストリビューションがZFSをサポートすることで、ZFSはまた新しい時代を迎えることになる

    Ubuntu 16.04 LTS、ZFSを正式サポート
  • ファイルシステムの動作がLinuxカーネルによって違うというお話、とか色々

    先日とある ioDrive シリーズのユーザーから、特定のファイルシステムでNANDフラッシュデバイスへの書き込みが行われないという件について相談をいただきました。整理してみると: ファイルシステム上に書き込み可能な状態でファイルをオープンする。 一定ペースで、ファイルへ Buffered I/O で書き込み。 ファイルをクローズする。 このとき、特定条件下のXFSでは、(2)の段階では全然フラッシュが発生せず、(3)の段階でまとまったフラッシュが発生するのだそうです。 ストレージ側からすればI/Oが来ていない段階のお話なのでアプリケーション(ミドルウェア)からシステムコールを通じてカーネル側が原因でI/Oが発生しておらず、まとまったギガバイト級のI/Oが発生すれば、それは高速と言われる ioDrive ですらフラッシュに数秒間かかってしまう、ということでした。よく言われるのは、Linux

  • rsync+btrfsでsnapshot

    サーバーの全体バックアップをとるのにbtrfsのsnapshotを使いたかったが、メインのファイルシステムをbtrfsにしたくはない。 というわけで、rsyncでbtrfsのsubvolumeにコピー→snapshotを作る、という流れにしてみた。 1. btrfsで新ディスクをフォーマット fdiskをいじるのが面倒だったのでここだけGUIでやった。 btrfs関係のツールがなかったのでyumでインストール。 # yum install btrfs-progs 2. btrfsのsubvolumeを作る # mount -t btrfs -o compress /dev/sdb1 /mnt/backup # btrfs subvolume create /mnt/backup/latest 3. snapshot用ディレクトリを作る # mkdir /mnt/backup/snapsho

    rsync+btrfsでsnapshot
  • 1