quanpで使われている分散ストレージシステム·Castoro MOONGIFT
CastoroはRuby製のオープンソース・ソフトウェア。知名度はまだ高くはないが、日本のサービスにしては非常に魅力的なオンラインストレージサービスなのがquanpだ。月額980円で100GBまで使えるストレージで、iPhoneやWebブラウザから使うためのサービスも用意されている。 オンラインストレージを構築する上で書かせないのが堅牢なストレージシステムだろう。既にいくつかのソフトウェアは存在するが、quanpでは独自のストレージシステムが構築されている。それがCastoroだ。 Castoroの特徴として、HTTPでのアクセスに加えてNFSをサポートしているということが挙げられる。これによってImageMagickやXPDFをサポートし、ファイルやドキュメントを画像化することができる。さらに100GBといった巨大なファイルも扱えるのが特徴的だ。 遅延レプリケーションになっているので、他
MOONGIFT: » Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」:オープンソースを毎日紹介
Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。 処理状態を確認するコンソール ごく小規模なシステムであればニーズは発生しないかも知れないが、数十台、数百台のコンピュータを結びつける上で分散化処理は欠かせない技術だ。そこでMapReduceをオープンソース実装したこちらを紹介しよう。 今回紹介するオープンソース・ソフトウェアはSkynet、Rubyで実装されたMapReduceのオープンソース実装だ。 Skynetは多数のワーカーを立ち上げ、それらが互いに監視し合うことで障害発生時にも柔軟にタスクの受け渡しが可能になっている。単一障害点はなく、マスタサーバという位置づけのものですら他の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
InfoQ: StrokeDBは単に別の分散データベースにすぎないのか?そうでもない。
