分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
分散ファイルシステム その２ - pekeqのブログ
その１はこちら → d:id:pekeq:20060222:p2 ネットワーク透過 (NFS) リモートサーバのファイルをローカルと同様に扱える 拡張系： ファイルをローカルにキャッシュ (OpenAFS, Coda) 拡張系： オフラインオペレーション (Coda) 拡張系： API透過：別にファイルシステムに見える必要はないという割り切り (Amazon S3, GREEイメージストレージクラスタ) 単一ファイルシステム・イメージ 複数のノードで構成されるストレージを、ひとつの大きなファイルシステムとして扱える 拡張系： ファイルの内容を、ノード間で分散配置する (PVFS, Lustre) 拡張系： ファイルシステムの動的な拡張・縮小 反則技 (Livedoorはこうやっているのではないか、という想像です) 安いファイルサーバでRAID1を組み、iSCSIでエクスポート 複数のiSC
グーグル技術講演会 - pekeqのブログ
本日行われた「グーグル技術講演会」に行ってきた。MapReduceやSawzallの話は、Googleが公開しているpaper以上の内容ではなかった感じ。それ以外で記憶に残ったのはこんなところでした。 ノード 何千台の2CPU 2-4GBmem x86 PC GbE ローカルIDE HDD（あんまりローカルF/Sにはアクセスしない） インフラ MapReduce Sawzall Protocol Buffer （Sawzall論文のPDF５ページ目 後半） GFS Work Queue BigTable MapReduceを利用して、保管されているWebページ全体に対してとあるクエリーを投げ、終わるまでに半日かからない Googleのエンジニアは、社内で利用しているソフトウェアのソースコードに自由にアクセスできる 一方で、データは扱えるレベルがあって、たとえば（アクセスログに記録された）I
分散ファイルシステム - pekeqのブログ
more better NFS OpenAFS, Lustre, IBRIX NFSはNetworkedなファイルシステムなだけであって、Distributedではない focus on disconnected operation Coda, Intermezzo I/Oパフォーマンスを上げるために、ネットワーク上でストライピング PVFS 最強？ IBM GPFS フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。ただ、slashdotにあったように、管理が大変そうだ。オブジェクトストレージサーバが、shared diskによるフェイルオーバなのも、いま風のかっこよさではない感を誘う。 現時点では、OpenAFSが一番リーズナブルな解であるように思える。データのレプリケーションをサポートし
梅田望夫がブロガーと語る「ウェブ進化論」ログ
梅田望夫(id:umedamochio)さんの「ウェブ進化論」発売記念イベントに、ログ係として行ってきました。 ログは、全て敬称略にて記載しております。ご了承ください。 また、ログ取りにあたり、筑摩書房の永田様にセカンダリのロガーをしていただきました。ありがとうございます。 （2006/5/4追記）私がログ係になったきっかけとなった「フォーサイトクラブ・セミナー「ウェブ社会『大変化』への正しい対応・間違った対応」梅田望夫さん講演ログ」も興味深い内容ですので、よろしければごらんください。 音声ファイルのポッドキャスティング 今回のイベント内容を録音したmp3ファイルはこちらです。 http://d.hatena.ne.jp/umedamochio/20060207/p1 恵比寿に到着 18時過ぎに着いてしまう。早く着きすぎた。 一人だけ、受付のソファーに座っている方がいたので、声をかけたら今
近況 - フォーサイトクラブ・セミナー「ウェブ社会『大変化』への正しい対応・間違った対応」梅田望夫さん講演ログ
仕事を早めに切り上げて梅田望夫(id:umedamochio)さん講演に行ってきました。私はフォーサイト誌の読者ではありませんが、フォーサイトクラブ・セミナーのお知らせを読んで講演の開催を知りました。ダメモトで抽選に申し込んだら当たった次第。 以下は私が講演を聴きながらPCのキーボードを叩いて記録したログです。 このログをご覧になる方にお願いしたいのですが、「ここに書いてあることが梅田さんの講演内容100%ではない、内容が正しいかもわからない」ということをご承知ください。 できるだけがんばって追いつきましたが、梅田さんのお話を正しく、完全に書き取れたわけではありません。ログを取りながら梅田さんの話の展開について行けなくて取りこぼした部分や、帰りの電車で記憶を頼りに追加修正した部分が結構あります。 梅田さんがblogエントリに書かれたなかで、今回の話に関連すると思う話題にリンクを張っています
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
