グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering
はじめに グリー株式会社でエンジニアをしておりますkgwsと申します。 今回は、前回に引き続き分散ストレージ(nanofs)のHTTPメソッド毎の処理を紹介させていただければと思います。 nanofsは5つのHTTPメソッド(GET、PUT、DELETE、HEAD、MKCOL)をサポートしております。今回は主なGET、PUT、DELETEの3つについてご説明させていただきます。 まずは構成のおさらい nanofsは、主に3つのプロセスで構成されております。 nanofsd(dispatcher) アプリケーションサーバからリクエストを受け取り実際に保存されているnanofsnに振り分ける 5つのHTTPメソッドをサポートしている(GET、PUT、DELETE、HEAD、MKCOL) データベース（KVS）に保存したデータの情報を送る queueに処理の指示を送る nanofsw(worke
グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
ストレージをネットワーク化するFCとiSCSI (1/2)
読者の中にも複数台のパソコンを所有している方は多いと思うが、PC間のデータのやり取りやディスクの空き容量のやりくりについて悩んだことはないだろうか？企業の情報システムにおいても同様の悩みは存在する。たとえば、財務会計システムのストレージには空きがあるにもかかわらず、データウェアハウスで近々にストレージ増設が必要といった話だ。これら問題を解決するのが、これから2回に渡って解説する「ストレージネットワーク」である。 ストレージ共有・統合のニーズからネットワークへ ストレージネットワークは、サーバとストレージのアクセスを柔軟かつ広範に行なうための仕組みで、利便性の向上やコスト削減がネットワーク構築の最終的な目的となる。ストレージの共有や統合はその手段として一般的で、図1に使用例を2つ挙げた。例1はストレージを複数のサーバで共有し、例2ではストレージに加えてデータそのものも共有している。 例2のほ
サーバとストレージの間に“ネットワーク”が生まれた理由（前編）
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます この連載では、SAN（Storage Area Network）やNAS（Network Attached Storage）などのいわゆる「ストレージネットワーク」を中心に、データセンターを構成するサーバやストレージ、さらにはネットワークの最新の市場動向や関連技術を解説する。第1回では、ストレージネットワークが誕生した背景やSANを利用することによるメリットとデメリットについて紹介する。 DASからSAN/NASへ〜ストレージネットワークの誕生と発展〜 そもそもコンピュータにとって、ディスクやテープなどの外部記憶装置（ストレージ）は“周辺機器”である。そしてコンピュータと周辺機器との間のインターフェースとして長年使用されてきた技術が、「
リモートファイルシステムを使ってRAID-1を構成できるChiron FS | OSDN Magazine
LinuxカーネルはRAID-1の実行をソフトウェアでサポートしている。RAID-1では、1つのファイルシステムを2台以上のディスク装置で保持するため、障害が発生しても最後のディスクさえ生き残っていればすべてのデータを復旧できる。すばらしい仕組みだが、メモリや電源ユニットなど、ほかのハードウェアコンポーネントが故障した場合にはやはり貴重なデータが失われる可能性がある。だが Chiron FS を使えば、ネットワーク上の2台のマシンが持つディスクで1つのRAID-1を構成でき、一方のマシンがダウンしてもファイルシステムにアクセスし続けることができる。 RAID-1構成が維持された状態で一方のマシンに障害が発生した場合でも、ネットワーク接続が無事であれば、障害で破損したファイルがChiron FSによって他方のマシンに複製（レプリケーション）されるおそれがある。だが、2台のローコストPCとネッ
クラウド型ストレージ「Amazon S3」は安いか？
Amazon S3は安いか高いかという議論を、この2日間で立て続けに3個所で耳（目）にした。 1人はネットサービスベンチャーのCTOで、クラウドへの移行を検討しているものの、Amazon S3やEC2の実際の価格や使い勝手がよく分からないという話だった。コスト的に見合うなら、もうサーバ運用に煩わされたくないと漏らしていた。 もう1つは、ベンチャーキャピタルとして知られるYコンビネーターの掲示板で見かけた「Does Amazon S3 really save money？」で始まる議論。1GB当たり1カ月で0.15ドルと聞くと安いようにも思えるが、1TBの月額は150ドル、2年にすると3600ドル（1ドル92円として約33万円）にもなる。しかも転送量に応じた課金もあるため、実際にはこれ以上になる。今や1TBのドライブ単価は1万円を割っていて、2年で3600ドルとは比較にもならない。「クラウド
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
