分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
SATAのAHCIモードでディスクアクセスが遅い場合はNCQを無効にしてみる - pekeqのブログ
解決まで４，５時間を無駄にしてしまった。 起きた現象としては、ICH6RのマシンにSATAディスクを接続し、AHCIモードで起動。CentOS5を入れてインストーラでSoftware RAIDを設定後、rebootしたら激烈に遅くなってしまった、というもの。どれくらい遅いかというと、そもそも起動がとても遅く（linuxrcの実行がトロトロ状態）、常時ロードアベレージが４から５くらいあって、コマンド打ってから返ってくるまで３秒くらい平気でかかってしまうという感じ。いろいろ調べてみたら、LKMLに同じような現象に出会っている人がいて、NCQを無効にしたら（キューの長さを１にしたら）直ったらしい。 NCQを無効にしたらパフォーマンスが改善した人 http://lkml.org/lkml/2007/6/20/411 NCQを無効にする方法 http://linux-ata.org/faq.html
分散ストレージについて再び(2) - pekeqのブログ
AFSは、かなりの歴史と実績がある分散ファイルシステムだ。umich, intel等、多くの環境で実際に利用されており、安定度もかなりのものだ（現在のOpenAFSはIBMが販売していたものがベースになっている）。日本語情報が少ないのが困った点だが、英語がちょっと読めるなら、AFS Workshopの資料を読めば、かなりの知識が手に入る。（AFSに興味がなくてもこの資料は読む価値があるかもしれない。ちょっとニヤっとしてしまうだろう） ただ、AFSを使おうと思う上で躊躇してしまうことのひとつは、テラバイト級のボリュームを作ったらどうなるか、いまいちよくわからない点だ。 AFSの制限値をまとめようとした投稿 リプライを読むと、実際どのへんまでいけるのかはよくわからないようだ Quotaは2TBまでしか効かないが、それ以外は動くのでは？という投稿 27TBのデータをOpenAFSで管理しているよ
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
グーグル技術講演会 - pekeqのブログ
本日行われた「グーグル技術講演会」に行ってきた。MapReduceやSawzallの話は、Googleが公開しているpaper以上の内容ではなかった感じ。それ以外で記憶に残ったのはこんなところでした。 ノード 何千台の2CPU 2-4GBmem x86 PC GbE ローカルIDE HDD（あんまりローカルF/Sにはアクセスしない） インフラ MapReduce Sawzall Protocol Buffer （Sawzall論文のPDF５ページ目 後半） GFS Work Queue BigTable MapReduceを利用して、保管されているWebページ全体に対してとあるクエリーを投げ、終わるまでに半日かからない Googleのエンジニアは、社内で利用しているソフトウェアのソースコードに自由にアクセスできる 一方で、データは扱えるレベルがあって、たとえば（アクセスログに記録された）I
分散ファイルシステム - pekeqのブログ
more better NFS OpenAFS, Lustre, IBRIX NFSはNetworkedなファイルシステムなだけであって、Distributedではない focus on disconnected operation Coda, Intermezzo I/Oパフォーマンスを上げるために、ネットワーク上でストライピング PVFS 最強？ IBM GPFS フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。ただ、slashdotにあったように、管理が大変そうだ。オブジェクトストレージサーバが、shared diskによるフェイルオーバなのも、いま風のかっこよさではない感を誘う。 現時点では、OpenAFSが一番リーズナブルな解であるように思える。データのレプリケーションをサポートし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
