分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
分散ファイルシステム - pekeqのブログ
more better NFS OpenAFS, Lustre, IBRIX NFSはNetworkedなファイルシステムなだけであって、Distributedではない focus on disconnected operation Coda, Intermezzo I/Oパフォーマンスを上げるために、ネットワーク上でストライピング PVFS 最強？ IBM GPFS フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。ただ、slashdotにあったように、管理が大変そうだ。オブジェクトストレージサーバが、shared diskによるフェイルオーバなのも、いま風のかっこよさではない感を誘う。 現時点では、OpenAFSが一番リーズナブルな解であるように思える。データのレプリケーションをサポートし
グーグル技術講演会 - pekeqのブログ
本日行われた「グーグル技術講演会」に行ってきた。MapReduceやSawzallの話は、Googleが公開しているpaper以上の内容ではなかった感じ。それ以外で記憶に残ったのはこんなところでした。 ノード 何千台の2CPU 2-4GBmem x86 PC GbE ローカルIDE HDD（あんまりローカルF/Sにはアクセスしない） インフラ MapReduce Sawzall Protocol Buffer （Sawzall論文のPDF５ページ目 後半） GFS Work Queue BigTable MapReduceを利用して、保管されているWebページ全体に対してとあるクエリーを投げ、終わるまでに半日かからない Googleのエンジニアは、社内で利用しているソフトウェアのソースコードに自由にアクセスできる 一方で、データは扱えるレベルがあって、たとえば（アクセスログに記録された）I
梅田望夫がブロガーと語る「ウェブ進化論」ログ
梅田望夫(id:umedamochio)さんの「ウェブ進化論」発売記念イベントに、ログ係として行ってきました。 ログは、全て敬称略にて記載しております。ご了承ください。 また、ログ取りにあたり、筑摩書房の永田様にセカンダリのロガーをしていただきました。ありがとうございます。 （2006/5/4追記）私がログ係になったきっかけとなった「フォーサイトクラブ・セミナー「ウェブ社会『大変化』への正しい対応・間違った対応」梅田望夫さん講演ログ」も興味深い内容ですので、よろしければごらんください。 音声ファイルのポッドキャスティング 今回のイベント内容を録音したmp3ファイルはこちらです。 http://d.hatena.ne.jp/umedamochio/20060207/p1 恵比寿に到着 18時過ぎに着いてしまう。早く着きすぎた。 一人だけ、受付のソファーに座っている方がいたので、声をかけたら今
近況 - フォーサイトクラブ・セミナー「ウェブ社会『大変化』への正しい対応・間違った対応」梅田望夫さん講演ログ
仕事を早めに切り上げて梅田望夫(id:umedamochio)さん講演に行ってきました。私はフォーサイト誌の読者ではありませんが、フォーサイトクラブ・セミナーのお知らせを読んで講演の開催を知りました。ダメモトで抽選に申し込んだら当たった次第。 以下は私が講演を聴きながらPCのキーボードを叩いて記録したログです。 このログをご覧になる方にお願いしたいのですが、「ここに書いてあることが梅田さんの講演内容100%ではない、内容が正しいかもわからない」ということをご承知ください。 できるだけがんばって追いつきましたが、梅田さんのお話を正しく、完全に書き取れたわけではありません。ログを取りながら梅田さんの話の展開について行けなくて取りこぼした部分や、帰りの電車で記憶を頼りに追加修正した部分が結構あります。 梅田さんがblogエントリに書かれたなかで、今回の話に関連すると思う話題にリンクを張っています
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
