GoogleのBigTableの特長の1つはエンジンとストレージが疎結合であること - llameradaの日記
GoogleのBigTableの特長の1つはエンジンとストレージが疎結合であることである。 MySQLやPostgreSQLではSQLクエリを受け付けるマシン(エンジン)と、実際にデータを格納するマシン(ストレージ)は同じである。つまり、エンジンとストレージが密結合である。 エンジンとストレージが密結合である利点は、ストレージへのアクセスが、ネットワーク越しの場合に比べて高速なことである。 しかし、この利点は薄れつつある。ディスクへのアクセスはメモリへのアクセスに比べれば遥かに低速である。そのため、ストレージをメモリにキャッシュして運用することが多い。そして、常にストレージをメモリにキャッシュするならば、ストレージがローカルディスクにあるが、ネットワーク越しの別マシンにあろうが大差ない。必要に応じてメモリに読み込むだけである。 GoogleのBigTableではストレージはGFS上に格納さ
カイハツニッキ(2008-02-12)
_ [ソフトウェア] hadoop + hypertable 先日話題になっていたHypertableなのですが、まさにこういうものが欲しいなー、と思ってflaredとかを作り始めてみたわけなので興味津々眺めてみました...。そのうち4台くらいに入れて負荷かけてみたいのですがまだちょっと時間が取れないのでまずはドキュメントを眺めてみました。 そもそもHypertableができること、というのはよくある(?)key-value分散ストレージです(が、単純にkeyからvalueを引くというオペレーションよりは複雑あるいは細かい処理が可能なようです)。 そのHypertableは、Range Serverとよばれる実際のデータを格納するn個のサーバプロセスと、Master Serverとよばれる1つのコントロールプロセス、そしてHyperspaceというn + 2個のプロセスによって成り立つのだ
Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO
Bigtable: A Distributed Storage System for Structured Data - steps to phantasien t(2006-09-11)
2006-09-11 近況 今月は貧乏なので慎しく暮らしている. 週末もひきこもりとしてオンラインの記事を読んで過ごすことに. ウェブを眺めているといいタイミングで Google の新作論文が出ていた. ありがとう, Google の中の人. これ. GFS, MapReduce, Sawzall とつづく Google インフラ N 部作の 4 章が幕をあげた. 実はデータベースも作ってるんだぜ, という話. BigTable という名前だけは以前から O'Reilly Radar などに登場していた. ようやく公式な文書があらわれた. BigTable は GFS をはじめとする Google インフラの上に作られた分散データベース. 少し変わったデータモデルと, 運用までワンセットのヘビーな実装を持つ. 実装の話もまあ面白いんだけれど, それよりデータモデルが印象的だった. 先にその
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Principles and Guidelines for an Optimized Use of BigTable
Hypertable Lead Discusses Hadoop and Distributed Databases
TechCrunch Japanese アーカイブ » Googleが巨大データベース「BigTable」をウェブサービスとして公開か？