MapReduce - Cafe Babe

MapReduceは，Google社内でクラスタ上のデータ処理に用いられている並列分散プログラミングモデルである．ちょうど今サンフランシスコで開催されるOSDI 2004に発表予定の論文が，すでに公開されているが，これが非常に面白い． http://labs.google.com/papers/mapreduce.html 概要は次のような感じ． データ処理を，MapとReduceの2つに分割する．なお，この名前は同様な機能を持つLispの関数名が由来． Mapでは，あるキーと値の組から，中間のキーと値の組のリストを生成し，ローカルディスクに書き込む． Reduceでは，Mapが生成したキーと値の組をリモートディスクから読み出し，値のリストを返す． MapとReduceは，複数のワーカによって分散したマシン上で並列に実行される． たとえば，細分化された入力ファイルをMapを処理するワーカが

[kjee]

バックアップタスク

[jar2]

マシンの異常（例，ディスクの不良）などの理由で一部のタスクの実行時間が長くなることがある問題に対処するために，MapRecude処理が終わりに近づくと，現在実行中のタスクのバックアップタスクを実行することができる

[adamrocker]

MapReduceは，Google社内でクラスタ上のデータ処理に用いられている並列分散プログラミングモデルである．

[tgk]

MapReduceは並列分散処理で広く使えるパターン

[SavingThrow]

Google社内でクラスタ上のデータ処理に用いられている並列分散プログラミングモデル

[hamasta]

Google関連

[HeavyFeather]

分散プログラミングモデルについて

[hiromark]

「問題にはアルゴリズムの改良で対処する」、そう、そうありたい。