RCU(Read Copy Update)をちゃんと知る（1）-1 ほんとの概要 - tkokamoの日記
はじめに ファイルシステムのrcu-walkを理解するためにRCUの勉強から始めようと思ったので書留ます。 RCUとはざっくりこんなものだ、と分かっている前提での記録です。 予想している流れとしては、 概要（概要）← 今回 Linuxでの実装 rcu-walk（RCUの応用先） と考えています。原稿も無いので、次回がいつになるかわかりません（社内勉強会でrcu-walkを語ろうと思っているので完遂はすると思われます） 今回は、wikipediaとかよんでで「？」となった当たりを捕捉。 RCUとは？ 図を用いた簡単な理解 複数のタスクで共有するデータの参照/更新をきちんと行う場合、大抵は適切に排他区間をロックによって設けてそれを実現します。 理想的には、タスク間で共有するデータの参照/更新をロックフリーで行えるとよいのですが、一般的にそのようなことを実現する方法は考えられていません。 しかし
パーティションとファイルシステムと - Speaker Deck
Transcript パーティションと ファイルシステムと Kyoto.なんか #5 自己紹介 大西 和貴 出身: 京都 Twitter: _k_onishi_ Linux / Kernel / CPU / File System / Container / Virtualization C / Assembly / Nim SAKURA internet Inc. アプリケーショングループ / レンタルサーバーチーム ハードディスクの生データがマッピングされている Linuxのデバイスファイル(like /dev/sd*)を読み、 ルートディレクトリのエントリを読むまでのお話。 Nimという言語を勉強する過程で、上記のような処理を行うプログラムを勉強の題材として書いた。 概要 環境 $ uname -a Linux test 4.15.0-44-generic #47-Ubuntu SM
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
知っておきたいLinuxファイルシステムの概念 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ファイルシステムとは ファイルシステムとは、データとメタデータをある構造に従ってストレージデバイス上に格納したものを指す。 ファイルシステムの作成には mkfs(8) コマンドを使用する。 全体アーキテクチャ 以下の図の通りである。詳細は以下で説明する。 ファイルシステムの構造 ここでは、古典的ファイルシステムであるext2をベースに説明する。 ファイルシステム内で領域を割り当てる基本単位を論理ブロックという。ディスクデバイスの連続する物理ブロックから構成される。論理ブロックサイズ1024,2048,4096バイトのいずれかを選択できる
Filesystemのnone - Linuxの備忘録とか・・・(目次へ）
df コマンドで表示される Filesystem の none とは何でしょうか？とのページを目にしました。proc等の物理的なデバイスに対応されないファイルシステムの場合、noneと表示されるのらしいですが、私の環境(linux 3)では、noneと表示されません。どのような変更がなされたのかと調べてみました。 [root@localhost kitamura]# df -a ファイルシス 1K-ブロック 使用 使用可 使用% マウント位置 rootfs 6182228 5318216 802108 87% / proc 0 0 0 - /proc sysfs 0 0 0 - /sys devtmpfs 299400 0 299400 0% /dev devpts 0 0 0 - /dev/pts tmpfs 305088 0 305088 0% /de : 物理デバイスを有するファイル
PostgreSQL on EXT4, XFS, BTRFS and ZFS
The document compares modern Linux file systems, focusing on ext3/4, xfs, btrfs, and zfs, highlighting their history, features, and performance. Traditional file systems like ext3/4 and xfs are noted for reliability and journaling, while btrfs and zfs provide advanced features like built-in snapshots and compression but may present stability issues. Performance benchmarks demonstrate that ext4 and
GlusterFSによる分散ストレージ | UserSide Staff Blog
岩本です。3月に東京営業所から本社技術部へ異動しました。 GlusterFSとは、現在レッドハットが開発を進めているOSSでの分散ファイルシステムです。 複数のサーバで１つのディスクボリュームを作成したり、データの冗長を行うことができます。 今回は2台のUbuntuサーバで構築します。最終的にはKVMのVM格納領域として使用、最小構成でのKVM冗長構成を構築する予定です。 ■構成 SV001 Ubuntu 14.04.1 IPアドレス：10.0.0.1 RAIDなし SV002 Ubuntu 14.04.1 IPアドレス：10.0.0.2 RAIDなし ■構築 （SV001・SV002上で共に実行） sudo apt-get install python-software-properties sudo add-apt-repository ppa:semiosis/ubunt
ext4 ファイルシステムのオーバーヘッドを厳密に理解する - とあるSIerの憂鬱
ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab
或るプログラマの一生 » resize2fs によるオンラインでのファイルシステム拡張
家鯖の HDD を交換して大きくなったわけですが、作業をさぼっていて上に載ってるファイルシステムはそのままなので空き容量は特に増えてませんでした。ここらでえいやっとファイルシステムを拡張します。RAID パーティション（md デバイス）は既に拡張してあるので、resize2fs するだけです。Linux 2.6 以降なら ext2/ext3 はオンラインで（= マウントしたまま）ファイルシステムを拡張できます（他にもオンラインで拡張できるファイルシステムはいっぱいあるけど特に調べてない）。マシンを止めたくないので、もちろんオンラインで拡張します。 [root@nyx umezawa]# resize2fs /dev/md1 resize2fs 1.39 (29-May-2006) Filesystem at /dev/md1 is mounted on /; on-line resizin
CFQ スケジューラのアルゴリズム概要 | 技術文書 | 技術情報 | VA Linux Systems Japan株式会社
cfqスケジューラ Linuxカーネルは、ブロックI/Oの処理効率を向上させるさせるための仕組みとして、I/Oスケジューラと呼ばれる機能を提供しています。I/OスケジューラはI/O要求の順序を入れ替えることにより、スループットを向上させたり、特定のI/O要求を優先して実行させたりします。実際のブロックデバイスのセクタに対するアクセス（つまり読み書き）を、要求された順序ではなく、I/Oを最も効率よく行うためにその順序を並び替えるというアイデアは、初期のUNIXの実装から採用されていました。それは、セクタ番号順序に並び替えてI/Oを実行するという単純なものです。ディスク面上を移動するヘッドの動きがエレベータに似ているため、このアルゴリズムはエレベータアルゴリズムなどと呼ばれていました。 現在のLinuxカーネルでは、そのころのアルゴリズムより洗練されたスケジューリング方式を採用しており、目的に
/tmp と /var/tmp の違い - しょぼんメモリ （´・ω・｀）
どちらも一時ファイルを保存するディレクトリだけれど、ちゃんと説明があったのでメモ。 /tmp ・再起動するとファイルは消える ・定期的に削除される（10日） /var/tmp ・再起動してもファイルは消えない ・定期的に削除される（30日） CentOS 6.xの場合・・・ 再起動後の処理は、/etc/rc.d/rc.sysinit で行われる。 定期的に削除する処理は、/etc/cron.daily/tmpwatch で行われる。 これらの用途は、FHS（Filesystem Hierarchy Standard(ファイルシステム階層標準）に記載されている。 Filesystem Hierarchy Standard http://www.pathname.com/fhs/ FHS 2.3によると・・・ /tmp：P.15 The /tmp directory must be made
Programming and DIY Projects: Advanced Tools and Techniques
By choosing the right language for the job, developers can optimize productivity and project outcomes. 3. Linux and Open Source for Developers Linux remains a developer’s paradise with its flexibility, tools, and open-source support. Top Tools for Developers in Linux tmux: Terminal multiplexer for managing multiple sessions. htop: A process viewer for real-time resource monitoring. Docker: For con
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
ファイルシステムの動作がLinuxカーネルによって違うというお話、とか色々
先日とある ioDrive シリーズのユーザーから、特定のファイルシステムでNANDフラッシュデバイスへの書き込みが行われないという件について相談をいただきました。整理してみると： ファイルシステム上に書き込み可能な状態でファイルをオープンする。 一定ペースで、ファイルへ Buffered I/O で書き込み。 ファイルをクローズする。 このとき、特定条件下のXFSでは、（２）の段階では全然フラッシュが発生せず、（３）の段階でまとまったフラッシュが発生するのだそうです。 ストレージ側からすればI/Oが来ていない段階のお話なのでアプリケーション（ミドルウェア）からシステムコールを通じてカーネル側が原因でI/Oが発生しておらず、まとまったギガバイト級のI/Oが発生すれば、それは高速と言われる ioDrive ですらフラッシュに数秒間かかってしまう、ということでした。よく言われるのは、Linux
Programming and DIY Projects: Advanced Tools and Techniques
By choosing the right language for the job, developers can optimize productivity and project outcomes. 3. Linux and Open Source for Developers Linux remains a developer’s paradise with its flexibility, tools, and open-source support. Top Tools for Developers in Linux tmux: Terminal multiplexer for managing multiple sessions. htop: A process viewer for real-time resource monitoring. Docker: For con
/usr/local とは何なのか - 破棄されたブログ
ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
Linuxファイルシステムをまとめてみました - Qiita
Linux.com | 日本のリナックス/OSS情報ポータル
Btrfsの基礎 part1 機能編
