分散ストレージの収束する方向 - sdyuki-devel
サーバーサイドの分散ストレージについて。広域P2Pとかデータセンター間で同期するとかCDN云々は知らない。 kumofsのアプリケーション-Gateway間のインタフェースは Get(key) だが、Gateway-Server間のインタフェースは実は GetByHash(key, partitioning-id)（とGetByHashIfModified(key, partitioning-id, time)）だったりする。（実際の名前は違うけど意味は同じ） 現状ではpartition-idはkeyにハッシュ関数を掛けて自動生成するが、実際には任意の値を指定できる。 つまり関連するkeyには同じpartitioning-idを指定して同じノードに保存されるようにして、partitioning-idが同じkey同士ならトランザクションできるようにすることも、案外に容易にできる。 Consi
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
第22回 ZumoDriveかDropboxか。選択肢増えたクラウドストレージ
第22回 ZumoDriveかDropboxか。選択肢増えたクラウドストレージ：“PCで仕事”を速くする（1/3 ページ） Dropboxに出会ったとき、夢のようなサービスだと思ったわけだが、ZumoDriveはさらにその上を行くかもしれない。一見ローカルのファイルだが、ファイルが必要になったときに初めてネットからダウンロードして使う――という使い方を実現している。 これまでオンラインの同期環境を探ってきた中で、Dropboxは素晴らしい解決策となった……。ということを書いてきた。ところがここにきて、Dropboxに勝るとも劣らないクラウドストレージ（オンラインストレージ）であるZumoDriveが登場した。 β版の使用感を解説しつつ、Dropboxとの違い、メリット・デメリットを考えてみようと思う。なおZumoDriveはクローズドβサービスだ。βユーザーからの紹介も現状できない。 →現
SSD とストレージの将来 - kazuhoのメモ置き場
SQL に痛痒感を感じる日々を過ごしている身としては、RDBMS がレガシーだというのは、まったく同感ですが。 SSDを前提にしたプログラムモデルになれば、そもそもシーク時間と戦うこともなく、ストレージを意識せずにプログラムが組めます。そうなったとき、アプリケーションのデータを永続化するためにRDBMSをわざわざ使うことはないでしょう。 2008-12-12 そんなことないと思います。理由は以下の２点。 フラッシュの書き換えブロックサイズは数キロバイト以上 トランザクションは意識して実装せざるを得ない フラッシュメモリはランダムリードできますが、DRAM のようにランダムライトできるわけではありません。書き込みが非常に遅いのに加えて書き換え回数の制限もあるので、メインメモリと同様のプログラム手法を使うのは難しいと思います。 次にトランザクションについてですが、組み込み型データベースとして
ScalableStorageWithOSS00 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #0 TLUG Meeting 2008/09 で発表した How to build a scalable storage system with OSS なんですが、発表では概要しか触れてなくて、じゃあいったいどうやって構築するのよ、という部分が全然ないので、ぼちぼちこのブログで書いていくことにします。 で、スケーラブルというだけだと曖昧なので、以下のような要件を満たすものを、スケーラブルなストレージと想定することにします。 特殊なソフトウェアを必要とせずに、OS からファイルシステムとしてマウントできるもの。なので MogileFS、Hadoop Distributed File System、Google File System 等は対象外。（FUSE 使えばやれないこともないけど…） 容量をオンラインでダイナミックに追加で
公開鍵利用のファイル転送サービス「OnTranq」リリース ― ＠IT
インフォテリア・オンラインは10月9日、公開鍵暗号方式を使ったセキュアな企業向けファイル転送サービス「OnTranq」（オントランク）を開始した。契約書や特許文書、CADデータといった機密性が高いデータや、大容量のデータを、企業間や拠点間で安全に転送できるサービス。既存システムと連携させることで、拠点間の自動データ転送やライトウェイトEDI（Electronic Data Interchange）としての利用もできる。 専用クライアント利用でメール同様の使い勝手 OnTranqは従来のファイル転送サービスと異なり、SSLによる通信経路の暗号化だけでなく、2048ビットの鍵長を持つ公開鍵暗号（SHA1withRSA）を用いた暗号化および電子署名を送受信者間のエンド・ツー・エンドで提供するのが特徴。送受信時には同社が運営するデータセンターにデータをいったん預けることになるが、万一そのデータが第
Safari4 と IE8 で実装された DOM Storage とは何か - IT戦記
はじめに 皆様 JavaScript のスピード競争が激化し、 ECMAScript 3.1 の仕様の策定が進むなど、激動の JavaScript 時代をいかがお過ごしでしょうか。 さて今日は、今、ちまたで大ブレイクの兆しを見せている DOM Storage という仕様を紹介したいと思います。 DOM Storage とは何か まず、 DOM Storage とはどんなものなのでしょうか。 とても簡単に言ってしまえば、とてもたくさんのデータが保存できてサーバーに自動で送られない Cookie みたいなものです。 さらに、 Cookie とは違って JavaScript からとても扱い易く作られています。 では、この DOMStorage の具体的なソースコードを見てみましょう。 <!DOCTYPE html> <html> <head><title>DOMStorage の使い方</tit
Amazon、超巨大ストレージサービス「Amazon Elastic Block Store」ついに公開
Amazonは21日、新たなWebサービス「Amazon Elastic Block Store（EBS）」を公開した。 EBSは、Amazonが提供するホスティングサービスAmazon EC2から使用するストレージサービス。高可用、高性能なブロックデバイスのストレージを、EC2のインスタンスから利用できる。既存のストレージサービス「Amazon S3」と異なり、API経由ではなく、実際の外部ストレージのようにアクセスすることができるため、EC2に障害が発生しても書き込まれたデータが失われない。 ファイルシステムをフォーマットし、マウントして利用することはもちろん、直接Rawデバイスとしてアクセスすることも可能。もちろん、EBSボリュームにMySQLなどのデータベースを作成することもできる。また、Amazon S3にスナップショットとしてデータをバックアップすることも可能となっている。 1
AmazonのElastic Block Store(EBS)がなぜ素晴らしいかについて（Amazonへの要望付き） - shibataismの日記
実際にEBSにmysqlを入れてみたという実験記事は、 http://d.hatena.ne.jp/shibataism/20080822/1219422913 に書きました。エンジニアの方はこちらもどうぞ。 最初に結論を。EBSがなぜ素晴らしいかというと、 EBSの登場によって、AWSの一連のサービスで、もはやサーバーを自前で買ったり、データセンターに高いお金を払う必要が全く無くなったと言ってもいいから。 です。 すっぽり抜けていたパーツを埋めるEBS これも分かる人には当たり前なのですが、既に提供されてきたEC2とS3というのはそれぞれ、ざっくり書くと EC2はCPUとメモリを時間貸しするサービス。 S3はディスクを時間貸しするサービス です。 それぞれとてもパワフルで、EC2であれば、非常に協力なマシン（インスタンス）を借りられたり、必要な時間だけ起動できたり、（一部トラブルはあった
MySQL、新ストレージエンジンMaria投入 - InnoDBは? | エンタープライズ | マイコミジャーナル
CTO at MySQL, Founder and original developer of MySQL, Michael Widenius氏は27日(米国時間)、自身のブログにおいてMySQLの新しいデータベースエンジンMariaを公表した。MariaはGuilhem氏、Sanja氏、Sergei氏、Widenius氏によって2年間にわたって取り組まれた新しいストレージエンジン。ただしフルタイムで開発が実施されたのは直前の4ヵ月間だとされている。 今回公表されたMaria 1.0系はbitkeeper経由で公開されている。バイナリでの配布は時期をみて実施されるようだ。1.0はクオリティ向上を主目的としたブランチで、開発者にはMaria 1.0を試してバグを報告してほしいと報告されている。 MySQLは複数のデータベースエンジンを使える。今回公開されたMariaはストレージエンジンとして
Q4M - a Message Queue for MySQL
Q4M (Queue for MySQL) is a message queue licensed under GPL that works as a pluggable storage engine of MySQL, designed to be robust, fast, flexible. It is already in production quality, and is used by several web services (see Users of Q4M). To start using Q4M, download either a binary or source distribution from the install page, and follow the installation instructions. A small tutorial is also
Amazon S3にバックアップ·S3 Backup MOONGIFT
重要な書類や、サイトのデータなどはきちんとバックアップをとっているだろうか。盗難などの危険もあるが、それ以上にHDDが壊れた場合のリスクは回避策を予め立てておかないといけない。 データはネットの向こう側に置くのが今流だが、バックアップストレージとしてAmazon S3を使ってみるのはどうだろうか。 今回紹介するフリーウェアはS3 Backup、Amazon S3を使ったバックアップソフトウェアだ。 S3 BackupはAmazon S3をバックアップストレージとして利用するソフトウェアなので、予め申し込みが必要になる。また、その利用は有料なので注意されたい。とは言え、ストレージ料金は1GB/月で$0.15、転送量については$0.20/GBとなっている。 ということは毎月10GB程度のバックアップをとるのであれば、$3.50くらいで足りるということだ。この料金でバックアップストレージの信頼性
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
wstone レビュー MOONGIFT
openomy