分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
Gfarm
Gfarm ファイルシステムは，次世代ネットワーク共有ファイルシステムで， オープンソースソフトウェアで開発が進められています．NFS の代替として， また，より大容量，高信頼，高性能という要求に低コストで応えます． News [08/6/8] Sourceforge.netでCommunity Choice Awards のノミネーションが始まっています．清き一票をよろしくお願いします． [08/5/27] Gfarm version 2.1.0 を公開しました． [07/12/5] 情報処理学会HPC研究会で発表予定の Gfarm v2の論文を公開しました． ソフトウェアダウンロード ドキュメント バグトラッキングシステム メーリングリスト SourceForge プロジェクトページ
lustre - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス : GNU GPL~ 作者 : Cluster File Systems, Inc.~ ホームページ : http://www.lustre.org/ ~ https://mai
Lustreファイルシステムの概要
Lustreファイルシステムの概要 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803002 2004年 6月 28日 Abstract 本報告ではLustreファイルシステムの概要について調べる．Lustreファイルシステムとは既存のNFSやAFSのような分散ファイルシステムでは対応できない大規模クラスタなどのシステムのために開発されているオープンソースの分散ファイルシステムである． 1 はじめに 近年，並列計算に用いられるクラスタが大規模化し，クラスタを構成するノード数が増加している．クラスタにおいて広く用いられている分散ファイルシステムのNFS，AFSを用いた場合，NFSサーバ1台に対してNFSクライアントが複数マウントするため，マウントするノード数の増加に伴いサーバに対する負荷が増大し，I/Oスループットが低下してしまう．また膨大な計算結果を出力する
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
クラスタファイルシステム「lustre」を触ってみます : DSAS開発者の部屋
負荷分散環境では必須ともいえるネットワークストレージですが、皆様の環境ではどのようなものをお使いでしょうか。 「ファイル共有なんてなくしてしまえっ！！」って言いたくなることも時々あったりしますが（笑）、画像などの素材データ類はDBに格納するよかファイルとして扱う方が運用上楽だったりするので、そう簡単に抹殺するわけにもいきません。 DSASではDRBDで冗長化したNFSサーバ（もちろんLinuxベース）をネットワークストレージとして使っていますが、構成上どうしても特定のサーバに負荷が集中しがちになるのが悩みの種です。 特にせっぱ詰まって困ってる訳ではないのですが「どーしたもんかなあ」と物思いにふけっていると、いつもお世話になっている協力会社の方から「lustreってのもあるよん」と教えてもらったので軽く調べてみました。これはなかなか楽しそうなクラスタファイルシステムじゃあないですか！ lus
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
