RCU(Read Copy Update)をちゃんと知る（1）-1 ほんとの概要 - tkokamoの日記
はじめに ファイルシステムのrcu-walkを理解するためにRCUの勉強から始めようと思ったので書留ます。 RCUとはざっくりこんなものだ、と分かっている前提での記録です。 予想している流れとしては、 概要（概要）← 今回 Linuxでの実装 rcu-walk（RCUの応用先） と考えています。原稿も無いので、次回がいつになるかわかりません（社内勉強会でrcu-walkを語ろうと思っているので完遂はすると思われます） 今回は、wikipediaとかよんでで「？」となった当たりを捕捉。 RCUとは？ 図を用いた簡単な理解 複数のタスクで共有するデータの参照/更新をきちんと行う場合、大抵は適切に排他区間をロックによって設けてそれを実現します。 理想的には、タスク間で共有するデータの参照/更新をロックフリーで行えるとよいのですが、一般的にそのようなことを実現する方法は考えられていません。 しかし
パーティションとファイルシステムと - Speaker Deck
Transcript パーティションと ファイルシステムと Kyoto.なんか #5 自己紹介 大西 和貴 出身: 京都 Twitter: _k_onishi_ Linux / Kernel / CPU / File System / Container / Virtualization C / Assembly / Nim SAKURA internet Inc. アプリケーショングループ / レンタルサーバーチーム ハードディスクの生データがマッピングされている Linuxのデバイスファイル(like /dev/sd*)を読み、 ルートディレクトリのエントリを読むまでのお話。 Nimという言語を勉強する過程で、上記のような処理を行うプログラムを勉強の題材として書いた。 概要 環境 $ uname -a Linux test 4.15.0-44-generic #47-Ubuntu SM
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
Apache Hadoopエコシステムにおける、異なるファイル形式とストレージエンジンのパフォーマンス比較
著者/Author: Zbigniew Branowski (Cern) 原文/Original：http://blog.cloudera.com/blog/2017/02/performance-comparing-of-different-file-formats-and-storage-engines-in-hadoop-file-system/ Zbigniew Baranowskiはデータベースシステムの専門家であり、CERNでセントラルデータベースとHadoopベースのサービスを提供、サポートしているグループのメンバーです。 このブログはもともとCERNの「Databases at CERN」ブログで公開されており、CERNの許可を得てここで公開されています。 トピックこの記事では、Apache Hadoopエコシステムで利用可能ないくつかの一般的なデータフォーマットとストレー
知っておきたいLinuxファイルシステムの概念 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ファイルシステムとは ファイルシステムとは、データとメタデータをある構造に従ってストレージデバイス上に格納したものを指す。 ファイルシステムの作成には mkfs(8) コマンドを使用する。 全体アーキテクチャ 以下の図の通りである。詳細は以下で説明する。 ファイルシステムの構造 ここでは、古典的ファイルシステムであるext2をベースに説明する。 ファイルシステム内で領域を割り当てる基本単位を論理ブロックという。ディスクデバイスの連続する物理ブロックから構成される。論理ブロックサイズ1024,2048,4096バイトのいずれかを選択できる
libfuse で Hello World !
GlusterFS でも利用されている FUSE を使って、Hello World を試して見た。 今回は libfuse を使って、仮想ファイルシステム上のファイルを cat すると Hello World ! が出力されるまで。 $ cat fuse/hello Hello World! FUSE (Filesystem in Userspace) FUSE は、linux 2.6.14 で追加されたカーネルの機能で、ファイルシステムをユーザ空間の プログラムで実装できる仕組み提供する。これにより、カーネルコードを修正することなく、 ユーザ空間で独自のファイルシステムを作成できるようになる。 Wikipedia によると、Linux だけでなく、*BSD や MAC とかでも実装があるらしい。 環境 確認はいつものごとく Vagrant で。 Vagrant.configure("2"
『画像システムの車窓から』
2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/
corte.si
modd: a flexible tool for responding to filesystem change 2016-02-11 I've just released modd, a new1 project of mine. Like its sister project devd, it's distributed as a single, self-contained binary for all major platforms - get it while it's fresh. Modd is a simple tool that's hard to explain pithily. It triggers commands and manages daemons in response to filesystem changes - but that is a tech
Files are hard
I haven't used a desktop email client in years. None of them could handle the volume of email I get without at least occasionally corrupting my mailbox. Pine, Eudora, and outlook have all corrupted my inbox, forcing me to restore from backup. How is it that desktop mail clients are less reliable than gmail, even though my gmail account not only handles more email than I ever had on desktop clients
Filesystemのnone - Linuxの備忘録とか・・・(目次へ）
df コマンドで表示される Filesystem の none とは何でしょうか？とのページを目にしました。proc等の物理的なデバイスに対応されないファイルシステムの場合、noneと表示されるのらしいですが、私の環境(linux 3)では、noneと表示されません。どのような変更がなされたのかと調べてみました。 [root@localhost kitamura]# df -a ファイルシス 1K-ブロック 使用 使用可 使用% マウント位置 rootfs 6182228 5318216 802108 87% / proc 0 0 0 - /proc sysfs 0 0 0 - /sys devtmpfs 299400 0 299400 0% /dev devpts 0 0 0 - /dev/pts tmpfs 305088 0 305088 0% /de : 物理デバイスを有するファイル
PostgreSQL on EXT4, XFS, BTRFS and ZFS
The document compares modern Linux file systems, focusing on ext3/4, xfs, btrfs, and zfs, highlighting their history, features, and performance. Traditional file systems like ext3/4 and xfs are noted for reliability and journaling, while btrfs and zfs provide advanced features like built-in snapshots and compression but may present stability issues. Performance benchmarks demonstrate that ext4 and
GlusterFSによる分散ストレージ | UserSide Staff Blog
岩本です。3月に東京営業所から本社技術部へ異動しました。 GlusterFSとは、現在レッドハットが開発を進めているOSSでの分散ファイルシステムです。 複数のサーバで１つのディスクボリュームを作成したり、データの冗長を行うことができます。 今回は2台のUbuntuサーバで構築します。最終的にはKVMのVM格納領域として使用、最小構成でのKVM冗長構成を構築する予定です。 ■構成 SV001 Ubuntu 14.04.1 IPアドレス：10.0.0.1 RAIDなし SV002 Ubuntu 14.04.1 IPアドレス：10.0.0.2 RAIDなし ■構築 （SV001・SV002上で共に実行） sudo apt-get install python-software-properties sudo add-apt-repository ppa:semiosis/ubunt
ext4 ファイルシステムのオーバーヘッドを厳密に理解する - とあるSIerの憂鬱
ファイルシステムを作成すると、ファイルシステム自体の管理領域などのため、ファイルシステムを作成するデバイス・ボリュームの容量を100%使えるようにはならない。 では何パーセントが減ってしまうのか。10%あれば大丈夫なのか、3%程度でもよいのか、厳密には決まらないのか、そんな疑問・不安を取り除くために検証および論理的な裏取りを行った。 検証環境は CentOS 6.4 (x86_64) で、ファイルシステムは ext4 である。なお、ブロックサイズは 4KB を前提にする。CentOS 7 (RHEL 7) でも考え方は同じだが、計算の元になる基礎値に差があるため注意が必要(「その他」にて触れる)。 検証結果 128M, 256M, 512M, 1024M, 1.5G, 2G, ・・・ と20GまでのLVを作成し、実際にファイルシステムを作成。マウントした際の df -k の Availab
或るプログラマの一生 » resize2fs によるオンラインでのファイルシステム拡張
家鯖の HDD を交換して大きくなったわけですが、作業をさぼっていて上に載ってるファイルシステムはそのままなので空き容量は特に増えてませんでした。ここらでえいやっとファイルシステムを拡張します。RAID パーティション（md デバイス）は既に拡張してあるので、resize2fs するだけです。Linux 2.6 以降なら ext2/ext3 はオンラインで（= マウントしたまま）ファイルシステムを拡張できます（他にもオンラインで拡張できるファイルシステムはいっぱいあるけど特に調べてない）。マシンを止めたくないので、もちろんオンラインで拡張します。 [root@nyx umezawa]# resize2fs /dev/md1 resize2fs 1.39 (29-May-2006) Filesystem at /dev/md1 is mounted on /; on-line resizin
CFQ スケジューラのアルゴリズム概要 | 技術文書 | 技術情報 | VA Linux Systems Japan株式会社
cfqスケジューラ Linuxカーネルは、ブロックI/Oの処理効率を向上させるさせるための仕組みとして、I/Oスケジューラと呼ばれる機能を提供しています。I/OスケジューラはI/O要求の順序を入れ替えることにより、スループットを向上させたり、特定のI/O要求を優先して実行させたりします。実際のブロックデバイスのセクタに対するアクセス（つまり読み書き）を、要求された順序ではなく、I/Oを最も効率よく行うためにその順序を並び替えるというアイデアは、初期のUNIXの実装から採用されていました。それは、セクタ番号順序に並び替えてI/Oを実行するという単純なものです。ディスク面上を移動するヘッドの動きがエレベータに似ているため、このアルゴリズムはエレベータアルゴリズムなどと呼ばれていました。 現在のLinuxカーネルでは、そのころのアルゴリズムより洗練されたスケジューリング方式を採用しており、目的に
/tmp と /var/tmp の違い - しょぼんメモリ （´・ω・｀）
どちらも一時ファイルを保存するディレクトリだけれど、ちゃんと説明があったのでメモ。 /tmp ・再起動するとファイルは消える ・定期的に削除される（10日） /var/tmp ・再起動してもファイルは消えない ・定期的に削除される（30日） CentOS 6.xの場合・・・ 再起動後の処理は、/etc/rc.d/rc.sysinit で行われる。 定期的に削除する処理は、/etc/cron.daily/tmpwatch で行われる。 これらの用途は、FHS（Filesystem Hierarchy Standard(ファイルシステム階層標準）に記載されている。 Filesystem Hierarchy Standard http://www.pathname.com/fhs/ FHS 2.3によると・・・ /tmp：P.15 The /tmp directory must be made
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
Linuxファイルシステムをまとめてみました - Qiita
Linux.com | 日本のリナックス/OSS情報ポータル
Btrfsの基礎 part1 機能編
