グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編

グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン

[kita-tuba]

グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編

[ta1969]

グーグルの大規模システム

[wakuwaku_segaru]

Googleのインフラ的公演

[unirun]

デザインパターン

[schrift]

　Google。

[o_hiroyuki]

googleが構築した大規模システム

[machupicchubeta]

「重要なポイントは「信頼性はソフトウェアによって実現される」ということだ。」とのこと。

[JULY]

「信頼性はソフトウェアによって実現される」そのソフトウェアの信頼性を高める為に苦労する自分...

[ku-kai27]

運用、運用。

[hiroomi]

「Rendering Map Tiles」の図

[Serious]

「おおざっぱにってエクサバイト級のデータを処理している。」テラとペタを超えた単位ははじめてみた

[androidzaurus]

けたちがい

[lanius]

Googleのクラウド基盤について。Google MapでどうMapReduceを使っているか。

[kyuxyu]

ソフトウェアの冗長化は難しいのが定説だったけど、ソフトウェアの冗長性は取れてるんだろうか？

[inouetakuya]

MapReduceはプログラミングモデルの一種で、大規模並行処理をプログラマがシンプルに記述できる。どのマシンがどの処理を実行するか、といった細かいことをライブラリが隠蔽してくれる。

[biggdogg]

遅ればせながら先日free を斜めよみ。Googleのサービスの根幹をなすインフラ。巨大化することで得られるコスト低減と他社が容易に追い付けない状況。

[umiyosh]

見てる:

[gungle]

続きが読みたい：

[nikaporu]

グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編

[kuro14]

すげーなー

[masa_matya]

信頼性はソフトウェアによって実現される。GFS,ジョブスケジューラ,MapReduce,Bigtable。

[ryozo18]

エクサバイトかよｗ

[u-ichi]

RT @namikawa: グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編 － Publickey

[masamkur]

Web

[Donca]

✔ グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編