革命の日々！ ext4がいつの間にか結構高速化していた件について
あれ、ほとんどの項目でext2に勝ってるじゃん。 On Wed, Jan 07, 2009 at 11:29:11AM -0800, Curt Wohlgemuth wrote: > > I ran both iozone and compilebench on the following filesystems, using a > 2.6.26-based kernel, with most ext4 patches applied. This is on a x86 based > 4-core system, with a separate disk for these runs. Curt, thanks for doing these test runs. One interesting thing to note is that even though ext3 was ru
Loopback Encrypted Filesystem HOWTO
Copyright by Ryan T. Rhea, rhear@cs.winthrop.eduv1.1, 29 November 1999 Linux JF Project JF@linux.or.jpv1.1, 30 November 1999 この文書は，ユーザがマウントしたときに，その内容を動的かつ透過的に 暗号化するファイルシステムの設定方法と使用方法を説明します． このファイルシステムは通常ファイルの中に置かれるので，隠しファイルにし たり目立たない名前を付けたりして，ほとんど見つからないようにすることが できます． この方法により，データを非常に安全に保持することが可能です． 1. 始める前に 2. はじめに 3. 手順のまとめ 4. 詳細な手順 5. 日本語訳について 次のページ 前のページ 目次へ
LustreファイルシステムのI/O性能評価
LustreファイルシステムのI/O性能評価 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803004 2004年 10月 27日 Abstract 本報告では，大規模なクラスタ用に開発された分散ファイルシステムであるLustreファイルシステムの性能の評価行った．OSTを１台から４台まで増やし，I/Oパフォーマンスの性能を評価した．性能評価にはI/Oベンチマークであるbonnie++を用いた．計測結果，OST４台程度では性能の差が見れらないことがわかった．また，LustreとNFSの性能評価を行ったところ，今回の実験環境ではNFSの性能が良好な性能を示した． 1 はじめに Lustreはメタデータを管理するMDSがロードバランスを行うことでデータを分散し，負荷が特定のOSTサーバに集中しないようにしている．そのため，既存の分散ファイルシステムであるNFSよ
FUSE: Filesystem in Userspace
FUSE (Filesystem in Userspace) is an interface for userspace programs to export a filesystem to the Linux kernel. The FUSE project consists of two components: the fuse kernel module (maintained in the regular kernel repositories) and the libfuse userspace library (maintained in this repository). libfuse provides the reference implementation for communicating with the FUSE kernel module. A FUSE fil
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
クラスタファイルシステム「lustre」を触ってみます : DSAS開発者の部屋
負荷分散環境では必須ともいえるネットワークストレージですが、皆様の環境ではどのようなものをお使いでしょうか。 「ファイル共有なんてなくしてしまえっ！！」って言いたくなることも時々あったりしますが（笑）、画像などの素材データ類はDBに格納するよかファイルとして扱う方が運用上楽だったりするので、そう簡単に抹殺するわけにもいきません。 DSASではDRBDで冗長化したNFSサーバ（もちろんLinuxベース）をネットワークストレージとして使っていますが、構成上どうしても特定のサーバに負荷が集中しがちになるのが悩みの種です。 特にせっぱ詰まって困ってる訳ではないのですが「どーしたもんかなあ」と物思いにふけっていると、いつもお世話になっている協力会社の方から「lustreってのもあるよん」と教えてもらったので軽く調べてみました。これはなかなか楽しそうなクラスタファイルシステムじゃあないですか！ lus
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
Lustreファイルシステムの概要
Lustreファイルシステムの概要 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803002 2004年 6月 28日 Abstract 本報告ではLustreファイルシステムの概要について調べる．Lustreファイルシステムとは既存のNFSやAFSのような分散ファイルシステムでは対応できない大規模クラスタなどのシステムのために開発されているオープンソースの分散ファイルシステムである． 1 はじめに 近年，並列計算に用いられるクラスタが大規模化し，クラスタを構成するノード数が増加している．クラスタにおいて広く用いられている分散ファイルシステムのNFS，AFSを用いた場合，NFSサーバ1台に対してNFSクライアントが複数マウントするため，マウントするノード数の増加に伴いサーバに対する負荷が増大し，I/Oスループットが低下してしまう．また膨大な計算結果を出力する
lustre - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス : GNU GPL~ 作者 : Cluster File Systems, Inc.~ ホームページ : http://www.lustre.org/ ~ https://mai
Lustre
The Lustre® file system is an open-source, parallel file system that supports many requirements of leadership class HPC simulation environments. Whether you’re a member of our diverse development community or considering the Lustre file system as a parallel file system solution, these pages offer a wealth of resources and support to meet your needs. Events Lustre Administrators and Developers Work
Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定
酒井です。タイトルの通り、今回は MogileFS のインストールから初期設定までをずらずらと紹介します。 MogileFS では各コンポーネントごとに別サーバーを割り当てるのが通常ですが、実際には1台ですべてのコンポーネントを稼動させることができますので、colinux などの環境で手軽に実験することが可能です。今回使用した環境は、 Debian/sid (colinux) perl 5.8.8 MySQL 5.0 (non cluster) です。 また、使用する MogileFS のバージョンは、現時点では開発中ですがもうすぐリリースとなる（はずの）バージョン 2.0 を SVN リポジトリ の trunk からチェックアウトして使用します（revision 421 をインストールしました）。 リポジトリURL http://code.sixapart.com/svn/mogilef
Benchmarking Filesystems Part II LG #122
By Justin Piszcz Introduction After the last article was published, I have received more than a dozen requests for a second filesystem benchmark using the 2.6 kernel. Since that time, I have converted entirely to XFS for every Linux machine I use, so I may be a bit bias regarding the XFS filesystem. I tried to keep the hardware roughly the same. Instead of a Western Digital 250GB and Promise ATA/1
分散ファイルシステム - pekeqのブログ
more better NFS OpenAFS, Lustre, IBRIX NFSはNetworkedなファイルシステムなだけであって、Distributedではない focus on disconnected operation Coda, Intermezzo I/Oパフォーマンスを上げるために、ネットワーク上でストライピング PVFS 最強？ IBM GPFS フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。ただ、slashdotにあったように、管理が大変そうだ。オブジェクトストレージサーバが、shared diskによるフェイルオーバなのも、いま風のかっこよさではない感を誘う。 現時点では、OpenAFSが一番リーズナブルな解であるように思える。データのレプリケーションをサポートし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yahoo | Mail, Weather, Search, Politics, News, Finance, Sports & Videos
Gluster
https://mail.clusterfs.com/wikis/lustre/LustreHowto
IBM Developer