lustre - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス : GNU GPL~ 作者 : Cluster File Systems, Inc.~ ホームページ : http://www.lustre.org/ ~ https://mai
VIVER日記 - スケールアウトする分散ファイルシステム
DSAS開発者の部屋で、いかにして多重化＋負荷分散されたシステムを構築しているかという仕組みが公開されました。必見（＋必聴）です。 「DSASのあれこれ」の資料を公開します VIVER的に重要なのは、dsas.conf。ネットワークブートすると、すべてのマシンの構成がまったく同じになってしまう。VIVERではRUNES(Role-based Unified Network Extension System)というplaggableなアプリケーションを開発することで解決しています。 RUNESの問題は、いちいちプラグインが無いと使えない点。要するに使いにくい。拡張性と使いやすさの両立は難しい…。これは根本的に解決する計画があるので、向こう1年以内には解決します。（どうにも開発者リソースが少なくてスパンの長い話になってしまいがち） 資料の中にもありますが、やはり難しいのは、永続的なストレージの
分散ファイルシステム - ClusterBuild
調査中 http://www-1.ibm.com/servers/eserver/clusters/software/gpfs.html pvfs pfs gfs iscsi - matto (2003年12月03日 08時01分27秒) pvfs, ROMIO http://www.csce.uark.edu/~aapon/courses/gradOS/pvfs/pvfs.html - matto (2003年12月03日 08時07分59秒) Linuxクラスタでは、pvfsがほぼ唯一の解。あるいはiscsiを使ってsoftware raidを組めば同等のものができるかも。 - matto (2003年12月03日 08時14分37秒) NRFS。国産だが開発がとまっている。 - matto (2003年12月03日 08時18分03秒) mfsでは、親ノードを介さないファイルアクセス
SCI＞製品情報＞ファイル共有ソフト
Red Hat GFSはSistina Software社（米国ミネソタ州ミネアポリス）が販売とサポートを行っていたSistina GFSが前身になります。Red Hat社は2003年12月にSistina Software社を買収しましたので、製品名もRed Hat GFSとなりました。 Sistina Software社は1997年にミネソタ大学電子工学科教授オキーフ氏が設立し、Linuxのカーネルに組み込まれているボリュームマネージャーLVMおよびSistina GFSを扱っており、そのソリューションは、InfoSpace、NASAゴダード宇宙センター、フェルミラボなどに提供されていました。 システムクリエイト社では、商用版となった当初よりSistina Software社と日本国内での代理店契約をしており、これまでの販売とサポート実績から、Red Hat社ともアライアンス
LustreファイルシステムのI/O性能評価
LustreファイルシステムのI/O性能評価 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803004 2004年 10月 27日 Abstract 本報告では，大規模なクラスタ用に開発された分散ファイルシステムであるLustreファイルシステムの性能の評価行った．OSTを１台から４台まで増やし，I/Oパフォーマンスの性能を評価した．性能評価にはI/Oベンチマークであるbonnie++を用いた．計測結果，OST４台程度では性能の差が見れらないことがわかった．また，LustreとNFSの性能評価を行ったところ，今回の実験環境ではNFSの性能が良好な性能を示した． 1 はじめに Lustreはメタデータを管理するMDSがロードバランスを行うことでデータを分散し，負荷が特定のOSTサーバに集中しないようにしている．そのため，既存の分散ファイルシステムであるNFSよ
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
lustreの人気記事 4件 - はてなブックマーク
Lustre とは スパコン(HPC)でなくてはならないコンポーネントの一つが並列ファイルシステムです。 並列ファイルシステムがなぜ重要なのかは「一週間でなれる！スパコンプログラマ」を読んで頂くとして、様々なファイルシステムが存在するなかで、スーパーコンピュータ「富岳」含め、採用事例が豊富なのが Lustre です。 AWSでは構築・運用難易度の高いLustreをマネージドサービス(Amazon FSx for Lustre)として提供しており ストレージサイズ ストレージタイプ(SSD/HDD) IO性能 スクラッチ・永続 を指定するだけで簡単に利用できます。 今回は、Lustreの知識が0の状態からAmazon FSx for Lustreに入門するまでの道筋をまとめてみました。 ステップ1:AWSのストレージサービスを30分で俯瞰 AWS には様々なストレージサービスが存在します。
クラスタファイルシステム「lustre」を触ってみます : DSAS開発者の部屋
負荷分散環境では必須ともいえるネットワークストレージですが、皆様の環境ではどのようなものをお使いでしょうか。 「ファイル共有なんてなくしてしまえっ！！」って言いたくなることも時々あったりしますが（笑）、画像などの素材データ類はDBに格納するよかファイルとして扱う方が運用上楽だったりするので、そう簡単に抹殺するわけにもいきません。 DSASではDRBDで冗長化したNFSサーバ（もちろんLinuxベース）をネットワークストレージとして使っていますが、構成上どうしても特定のサーバに負荷が集中しがちになるのが悩みの種です。 特にせっぱ詰まって困ってる訳ではないのですが「どーしたもんかなあ」と物思いにふけっていると、いつもお世話になっている協力会社の方から「lustreってのもあるよん」と教えてもらったので軽く調べてみました。これはなかなか楽しそうなクラスタファイルシステムじゃあないですか！ lus
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pepys レビュー MOONGIFT