Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine

はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと

[take_img]

この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープ

[webmarksjp]

分散処理

[dreammind]

bigtable

[kei-os2007]

"[Hadoop][google][mapreduce]"

[morita_non]

大規模システム

[sumitakoika]

GFS、MapReduce、BigTable に対応する仕組み。オープンソース

[soyana]

ref: 「 Googleの基盤技術も少数の人たちによって作られている？ - Happy Hacking Diary」 http://d.hatena.ne.jp/nishidakeisuke/20080501/p1

[sankaseki]

Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine

[lizy]

次回に期待

[starpos]

一言で言うと、serializeされるべきデータ、処理は、たくさんあるうちのたった一つのノード上で行われる、ということなんだよな。

[mainyaa]

こっちも。http://zookeeper.sourceforge.net/

[TAKESAKO]

ここで紹介するGoogleの基盤技術については西田圭介さんの「Googleを支える技術」という本が詳しいので一読をお勧め致します。

[kdaiba]

Hadoopの解説

[hiromark]

読んでみる。

[teahut]

>Google基盤ソフトウェアのオープンソースクローンを使ってみる

[kzk]

せるくま

[Wacky]

この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。

[ono_matope]

よんだ

[zionic]

>HadoopはGoogle File SystemとMapReduce、hBaseはBigTableに相当します。