LinuxでXFSファイルシステムを利用するヒント
Linuxで比較的大きなファイル(１つあたり数百MBからGBクラスの大きさ）を多数扱う場合（実際にはGridFTPを使用した場合）、標準の ext3ファイルシステム では、ファイルアクセス時 にCPU利用率が異常に上がりハングしてしまう等の問題が発生する場合があります。この問題は XFSファイルシステムを使用すると解決しました。私たちは2005年春に米国の研究所から大量(270TB)の実験データをgridftpで転送中に、この ext3の致命的な問題に直面しましたが、この問題は XFSファイルシステムの使用で解決しました。また ext3では論理volumeを使うと最大8TBまでのファイルシステム構築でき、マウントできますが、それ以上のファイルシステムは作成できません。XFSは８TB以上のサイズのファイルシステムを論理volumeで作ることが出来ます。 XFSはSIGが開発した open s
64bitファイルシステム XFSの実装
XFSの歴史 XFSはSilicon Graphics（以下SGI：編注）が開発したジャーナリングファイルシステムである。XFSの開発が開始された当時、SGIはすでにEFS（Extent File System）というファイルシステムを持っていた。SGIがXFSで目指したものは、次世代の拡張性を考慮した64bitファイルシステムを新規開発することだった。 XFSは、1994年後半にリリースされたIRIX 5.3（IRIX 5.3 with XFS）に初めて搭載された。1996年にIRIX 6.2がリリースされると、全SGIシステムに標準でインストールされるようになった。1999年前半にはLinuxへ移植され、GPL（GNU General Public License）の下でオープンソースとして公開された。 最初のLinux用XFSであるXFS 1.0 for Linuxは、カーネル2.4
Tadahira's blog - 安全・確実・大容量・高速なファイルシステム
googleのgmailで使われているファイルシステム google file systemの論文「The Google File System」を 読んでから、これからOSの仮想化とクラスターそこで利用するファイルシステムが 次世代のシステムになるんだろうと想像してみる。 特にクラスタで利用できるファイルシステムは、既に大容量のデータを抱える企業 には救世主ではないだろうか。。 と思い、google file systemのようなクラスターファイルシステムについて調べたら オープンソースで同じようなファイルシステムLustreを発見。 日本語サイトには導入事例がほとんどないが、「DSAS開発者の部屋」が参考になる。 しかし、Lustreはオンデマンドで容量を拡張することができないし、メタデータサーバが 落ちると全体が落ちる(Single point of failure:S
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.ep.sci.hokudai.ac.jp/~morikawa/memo/XFS.htm
Gluster