ext4なファイルシステム環境を使う際の注意点 - Shaw's Home Page（本館）
つい先日こんな日記を書いた。 サーバのHDD 原因はディスクI/Oだ！という結論は決して間違っていなかったんだけど、根本的なことを理解していなかったばっかりに、この日記を書いたあとも多いにはまりましたよ…という話。 そもそも今回の件って、さくらインターネットの専用サーバを新規に借りて、そこにRHEL6をのっけたところがスタートだったわけです。で、サーバが利用できるようになってから、サイトのセットアップを済ませ、いざ運用テストを行ってみた段階で、DBに対する書き込みのパフォーマンスが全然あがらない。なのでHDDの障害を疑って、そして再セットアップまで行ってもらったというのが前回の話。 ただ、再セットアップしてもらった環境で、改めてベンチマークとってスループットチェックを行っても、全然パフォーマンスが変わらないわけです。ベンチマークに利用したdbenchの傾向として、Flash項目だけずばぬけ
Btrfs の scrub と自動修復機能 | Green Rabbit
Btrfs といえば，メタデータとデータに対するチェックサムによる保護．というわけで，前回とは違って，HDD の一部のデータが化けた場合にどうなるか試してみた． 例によって，先人が試してくれていて，一番わかりやすいのがこのページ． btrfs scrub – go fix corruptions with mirror copies please! https://blogs.oracle.com/wim/entry/btrfs_scrub_go_fix_corruptions 上記では，HDD のデータをわざと破壊し，scrub を使ってマウントしまま修復させています．当然，修復中も普通にファイルアクセスが可能です． これをなぞってやってみた． テスト用に 1GB のファイルを作成． % uname -a Linux costarica 3.2.0-29-generic #46-Ubun
ext4 vs xfs(sysbench fileio) | Ore no homepage
ちょっとやってみました。まず結論から言うと、今回の検証環境での実験および得られた結果のみから判断すると、ext4とxfsの性能差は特に見られませんでした。IOスケジューラの違いによる性能差は顕著に見られました。デフォのcfqよりはdeadlineやnoopが良いという下馬評(？)の通り、deadline, noopが良かったです。並列数が増えると差が明らかに見えます。ファイルシステムのオプションの差異が見えなかったのはつまらなかったな。noatimeの効果についてしっかり検証した人周囲にあまりいないし(俺も「とりあえず付けとけ」みたいな感じだったし)、もしかしたら大した効果はないのかもしれない(？)。 1. 検証環境 OS:CentOS6.2 ( 2.6.32-220.17.1.el6.x86_64 ) CPU: Intel(R) Xeon(R) CPU E5620 2.40GHz ( H
Linux 3.2 の Thin Provisioning (2) - TenForward
Linux 3.2 の Thin Provisioning (1) の続編． とりあえず前回でファイルシステムを作成して，実際より大きな領域が見えるようになりましたので，少し使ってみました． 100MB の領域でしたので，とりあえず 80MB のファイルを作ってみます．root@plamo64:/mnt# dd if=/dev/zero of=testfile bs=1M count=80 80+0 records in 80+0 records out 83886080 bytes (84 MB) copied, 0.244967 s, 342 MB/s root@plamo64:/mnt# df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 8.0G 6.9G 728M 91% / none 501M 132K 501M
Linux 3.2 の Thin Provisioning (1) - TenForward
Linux 3.2 で入った Thin Provisioning を試してみました．Device Mapper 経由で使います． kernel 付属文書には dmsetup を使った例が載っていますが，そこにも実際は LVM2 とかのツールを使うことになるよ，みたいなことは書かれていますので，見てみたところ，LVM2 でも既に実装されているようでしたので，そちらで試しています．と思っていたら，2012/01/30 付けで LVM2 2.02.89 がリリースされていますね． 以下は kernel 3.2 に更新した Plamo64-1.0 (on kvm) で試しています． LVM2 の cvs 先端を取得．インストール．今なら前述の通り 2.02.89 のソースを取得して make します．(この後も改良が続きそうですから ChangeLog で確認してリポジトリから取得した方が良いかも
glusterfsで仮想化サーバの余っているローカルハードディスクを分散共有ストレージにする at nkjmkzk.net
Virtualization, Operating System, Storage, Cloud Computing仮想化サーバが数台あると共有ストレージをつないで仮想マシンを全仮想化サーバで共有したくなります。 そうすることによって仮想マシンはリソースが空いていればどの仮想化サーバ上で起動させることができ、起動後もLive Migrationで別の仮想化サーバ上に移動させることさえできます。なのである程度の規模になると仮想化サーバ数台 + 共有ストレージという構成が一般的となります。 こうなってくると仮想化サーバのローカルハードディスクはほとんど使われません。サーバの故障率を下げるためにSANブートにしたりするとさらにローカルハードディスクは全く使わないことになります。それはそれですっきりしいると言えばそうなのですが、せっかくのローカルハードディスクが無駄になっている気もします。もし、共
�Linux/DB Tuning (DevSumi2010, Japanese)
NTT Tech Conference 2022 での「Dockerからcontainerdへの移行」の発表資料です https://ntt-techconf.connpass.com/event/241061/ 訂正： P2. . 誤: ``` Ship docker run -it --rm alpine Run docker push ghcr.io/ktock/myalpine:latest ``` 正: ``` Ship docker push ghcr.io/ktock/myalpine:latest Run docker run -it --rm alpine ``` 最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コード
Linux ext3 error - LowPriority
HDDのエラーが発生したときにext3領域がReadOnlyになってしまう件。 以前から何度か経験してたけど、tune2fsの出力を見るとエラー時の動作は デフォルトでContinueになっている模様。 Errors behavior: Continue てっきり毎回ReadOnlyで再マウントされてたので、この点がremount-roになってる のかと思っていた。が、そうなってなかったので調べてみた。 ReadOnlyで再マウントする処理は以下の二箇所(2.6.9カーネルより抜粋) @fs/ext3/super.c:ext3_abort if (test_opt(sb, ERRORS_PANIC)) panic("EXT3-fs panic from previous error\n"); if (sb->s_flags & MS_RDONLY) return; printk(KERN_
Linux チューニング - Ext3 のパフォーマンスを最大化させる
じつは自宅サーバのロードアベレージが上がり続けています。分析の結果、ボトルネックは I/O 処理でした。CPU は Athlon64 X2 4400+ ですが、まだまだ当分この CPU で間に合いそうです。HDD は当時は 7200 回転で最速だった HITACHI Deskstar T7K250 SATA2 250GB を RAID1 構成にしたのですが、今思えば速度優先で RAID0 にしておけば良かったと少しだけ後悔。 I/O がボトルネックに成っている理由ですが、Drk7jp が公開しているサービスの全てがキャッシュファイルを利用した高速化手法を取っているのですが、単純にそれらファイルの write 処理が追いついていません。常に何らかのプロセスで I/O 待ち状態が発生しているような状況です。抜本的な解決方法としては disk を高速なものに交換する以外ありません。 というわけで
FrontPage - 詳解ファイルシステム - livedoor Wiki（ウィキ）
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 FrontPage 最終更新： linuxfs 2009年01月19日(月) 16:03:10履歴 Tweet 詳解ファイルシステム ファイルシステム諸元 subcontentsファイルシステム諸元性能比較パーティション用語集OOMkillerkernelSELinuxgitskillcheckKDBJapanese Linux hackerext3/4最新情報Hans Reiser情報Committerfeature-removal-scheduleTODO中の人OSC2007 Tokyo/FallOSC2008 Tokyo/FallOSC2009 Tokyo/Fall ファイルシステム詳解 filesystem contents注目度の高いファイルシステムvfsext3ext4reise
Web屋のネタ帳 on CNET - linux上でディレクトリ内に作成できる最大ファイル数は1万から1.5万だが実際は5000個くらいでやめておいたほうが
あまりCNET向きとは言えない技術的過ぎるTIPSで恐縮なのだが。 Linuxのドキュメントには次のように記載されている。 現行の単方向リンクのリストによるディレクトリの実装で、一つのディレクト リ内のファイル数は、実運用上約 10-15k 個が上限になります。この制限はこ のような大きなディレクトリ内のファイルを作成および削除 (さらに検索) す る時のパフォーマンスの問題のためです。 JF: Linux Kernel 2.4 Documentation: ext2.txt より 注：これは現在主流のext3ではなく古いext2のものだが、実際問題としてこの制限はほとんど変わっていない。xfsになると話は別だが。 ということで、ひとつのディレクトリにつくれるファイル数は1万個くらいにしておいたほうがいいようだ。 だが筆者の経験上ではせいぜい5000個くらいでやめておいたほうがいい。
Benchmarking Filesystems Part II LG #122
By Justin Piszcz Introduction After the last article was published, I have received more than a dozen requests for a second filesystem benchmark using the 2.6 kernel. Since that time, I have converted entirely to XFS for every Linux machine I use, so I may be a bit bias regarding the XFS filesystem. I tried to keep the hardware roughly the same. Instead of a Western Digital 250GB and Promise ATA/1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An Interview With Linus Torvalds: Linux and Git - Part 1 30 Years Of Linux
Bitbucket | The Git solution for professional teams
213921 – SAN file systems becoming read-only
Opensource.com