グリーでは、ユーザの増加に伴ないサーバ台数が増加し、冗長性やスケーラビリティの低下が問題となってきていた。このような問題を解決するためにグリーでは独自の分散ストレージ (nanofs)を開発し、スケーラビリティや信頼性の向上、冗長化を実現したRead less
Gree大規模分散ストレージ戦略
グリーでは、ユーザの増加に伴ないサーバ台数が増加し、冗長性やスケーラビリティの低下が問題となってきていた。このような問題を解決するためにグリーでは独自の分散ストレージ (nanofs)を開発し、スケーラビリティや信頼性の向上、冗長化を実現したRead less
グリーの大規模分散ストレージ戦略(nanofs) Vol.2 | GREE Engineering
はじめに グリー株式会社でエンジニアをしておりますkgwsと申します。 今回は、前回に引き続き分散ストレージ(nanofs)のHTTPメソッド毎の処理を紹介させていただければと思います。 nanofsは5つのHTTPメソッド(GET、PUT、DELETE、HEAD、MKCOL)をサポートしております。今回は主なGET、PUT、DELETEの3つについてご説明させていただきます。 まずは構成のおさらい nanofsは、主に3つのプロセスで構成されております。 nanofsd(dispatcher) アプリケーションサーバからリクエストを受け取り実際に保存されているnanofsnに振り分ける 5つのHTTPメソッドをサポートしている(GET、PUT、DELETE、HEAD、MKCOL) データベース（KVS）に保存したデータの情報を送る queueに処理の指示を送る nanofsw(worke
グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
ウノウラボ Unoh Labs: DRBDで2TBのハードディスク容量を使う方法
こんにちは、naoyaです。 先日、フォト蔵のサーバのハードディスク空き容量が減ってきたので、ハードディスクを500GBx4から1TBx4のハードディスクに交換しました。 フォト蔵のサーバでは、以前satoが紹介したようにDRBDを使って写真や動画のデータを相互バックアップしています。 フォト蔵のサーバのハードウェアとソフトウェア環境は、次のとおりです。 HDD: 1TB x 4 OS: Fedora Core 5(2.6.20) DRBD: 0.7.24 ハードディスクは、二本ずつソフトウェアRAID0で組んでいます。 # cat /proc/mdstat Personalities : [raid0] md1 : active raid0 sdb1[0] sdc1[1] 1953519872 blocks 64k chunks md0 : active raid0 sda3[0] sd
Heartbeatでかんたんクラスタリング（4）：ミラーリングツール「DRBD」によるデータ保護 (1/3) - ＠IT
1つの例として「SAN」（Storage Area Network）があります。データを格納するストレージ自体が冗長化されている製品も多いですし、サーバをSANに接続するためのHBA（Host Bus Adapter）を二重化することも可能ですが、コストもかさみます。 現在ならば、SCSIブロックをIP化してしまう「iSCSI」も選択肢として挙げられるでしょう。ですが最近までiSCSIは、「iSCSi接続を確立するためのイニシエータが不安定だ」などといわれることもありました。また、データを共有する「NFS」（Network File System）を用いてほかのサーバにデータを保存することもできます。しかし外部にデータを置くとなると、どうしても、その分コストも高くなってしまいます。 最もコストを抑える方法を考えた場合に浮上してくる選択肢がDRBDです。Heartbeatによるサービスの冗長
ScalableStorageWithOSS02 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #2 OSS だけでスケーラブルなストレージを安価に構築する方法 #1 のつづき。 Xen インスタンスの作成 ここは詳しく解説しません。好きなように作成してください。自分は Cobbler/Koan を使ってます。インスタンスは6つ作成。 client0, client1（ストレージをマウントするインスタンス） storage0a, storage0b（ストレージを構成するインスタンスセットその1） storage1a, storage1b（ストレージを構成するインスタンスセットその2） 全体的な構成概要については、前回のエントリ を参照してください。 エクスポート用ブロックデバイスの作成 storage[01][ab] 上で、GNBD によりエクスポートするブロックデバイス（ディスク）を作成。 ディスクイメージを作成。テスト用
ScalableStorageWithOSS01 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #1 OSS だけでスケーラブルなストレージを安価に構築する方法 #0 のつづき。 サーバ構成概要 TLUG 発表資料 で触れた、全体的な構成のおさらい。構成図は以下のような感じ。 この構成について説明すると、以下のようになります。 DRBD により、2台一組でブロックデバイスをミラーリング /dev/gnbd0 と /dev/gnbd1 がセット /dev/gnbd2 と /dev/gnbd3 がセット GNBD でブロックデバイスをエクスポート /dev/gnbd0, /dev/gnbd1, /dev/gnbd2, /dev/gnbd3 がネットワーク越しに見える クライアント側で GNBD でエクスポートされたブロックデバイスをインポート /dev/gnbd0, /dev/gnbd1, /dev/gnbd2, /dev/g
ScalableStorageWithOSS00 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #0 TLUG Meeting 2008/09 で発表した How to build a scalable storage system with OSS なんですが、発表では概要しか触れてなくて、じゃあいったいどうやって構築するのよ、という部分が全然ないので、ぼちぼちこのブログで書いていくことにします。 で、スケーラブルというだけだと曖昧なので、以下のような要件を満たすものを、スケーラブルなストレージと想定することにします。 特殊なソフトウェアを必要とせずに、OS からファイルシステムとしてマウントできるもの。なので MogileFS、Hadoop Distributed File System、Google File System 等は対象外。（FUSE 使えばやれないこともないけど…） 容量をオンラインでダイナミックに追加で
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
