Gfarm Workshop 2005
10:15 - 11:10 Gfarm ファイルシステムの最新機能概要 [ PPT 1.5MB ] 建部修見 (産総研) ・Gfarm ファイルシステムの概要 (20分) ・Gfarm バージョン 1.2 の新機能の紹介 (10分) ・デモンストレーション (25分) 11:20 - 12:00 Gfarm ファイルシステムの実装とロードマップ [ PPT 500KB ] 建部修見 (産総研) ・Gfarm の実装の概要 (30分) ・ロードマップ
Gfarm
Gfarm ファイルシステムは，次世代ネットワーク共有ファイルシステムで， オープンソースソフトウェアで開発が進められています．NFS の代替として， また，より大容量，高信頼，高性能という要求に低コストで応えます． News [08/6/8] Sourceforge.netでCommunity Choice Awards のノミネーションが始まっています．清き一票をよろしくお願いします． [08/5/27] Gfarm version 2.1.0 を公開しました． [07/12/5] 情報処理学会HPC研究会で発表予定の Gfarm v2の論文を公開しました． ソフトウェアダウンロード ドキュメント バグトラッキングシステム メーリングリスト SourceForge プロジェクトページ
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
分散ストレージについて再び(2) - pekeqのブログ
AFSは、かなりの歴史と実績がある分散ファイルシステムだ。umich, intel等、多くの環境で実際に利用されており、安定度もかなりのものだ（現在のOpenAFSはIBMが販売していたものがベースになっている）。日本語情報が少ないのが困った点だが、英語がちょっと読めるなら、AFS Workshopの資料を読めば、かなりの知識が手に入る。（AFSに興味がなくてもこの資料は読む価値があるかもしれない。ちょっとニヤっとしてしまうだろう） ただ、AFSを使おうと思う上で躊躇してしまうことのひとつは、テラバイト級のボリュームを作ったらどうなるか、いまいちよくわからない点だ。 AFSの制限値をまとめようとした投稿 リプライを読むと、実際どのへんまでいけるのかはよくわからないようだ Quotaは2TBまでしか効かないが、それ以外は動くのでは？という投稿 27TBのデータをOpenAFSで管理しているよ
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
Tadahira's blog - 安全・確実・大容量・高速なファイルシステム
googleのgmailで使われているファイルシステム google file systemの論文「The Google File System」を 読んでから、これからOSの仮想化とクラスターそこで利用するファイルシステムが 次世代のシステムになるんだろうと想像してみる。 特にクラスタで利用できるファイルシステムは、既に大容量のデータを抱える企業 には救世主ではないだろうか。。 と思い、google file systemのようなクラスターファイルシステムについて調べたら オープンソースで同じようなファイルシステムLustreを発見。 日本語サイトには導入事例がほとんどないが、「DSAS開発者の部屋」が参考になる。 しかし、Lustreはオンデマンドで容量を拡張することができないし、メタデータサーバが 落ちると全体が落ちる(Single point of failure:S
「ハリー・ポッター」シリーズに投入されたLustre | OSDN Magazine
「ハリー・ポッター」シリーズ最新作、『ハリー・ポッターと炎のゴブレット』で不気味な特殊効果の大半を担当したアニメ制作会社、Framestore CFCのレンダリング・ファームではIntelベースの強力な高速Linuxクラスタが稼働しているのにNFSサーバーのボトルネックのせいで不具合に見舞われることがあった。そこで（ハリー・ポッター風に）Lustreよ来たれと相成り、オープンソースのクラスタ・ファイル・システム、Lustreが、大手と張り合える価格で同社の並外れた食欲、すなわちI/O要求を満たすことになった。 制作スタジオでLinuxを使うのは今や珍しくないが、Framestoreはその先駆けに名を連ねていた。Framestoreが船出した6年前はUnixサーバーが主流で、「Windowsマシンもパラパラあったようだ。我々がLinux路線を選ぶのにそれほど時間はかからなかった」とFrame
lustre - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス : GNU GPL~ 作者 : Cluster File Systems, Inc.~ ホームページ : http://www.lustre.org/ ~ https://mai
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gfarm - PukiWiki
Grid Datafarm: Mailing list center
Grid Datafarm - Gfarm file system [Japanese]