タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

algorithmとmapreduceに関するn-segaのブックマーク (1)

  • ぶいてく: 【クラウドコンピューティング】 MapReduceの復習

    昨日の丸山先生のMapReduceのレクチャーのメモを記す。自己中心的なまとめかたであることをご容赦願いたい。 MapReduceは以下の動作とほぼ同じ  cat $* | woWord | sort | uniq -c Mapは分割可能性(≒どう分割しても並列処理できる)があるがReduceは条件付で分割可能性がある。reduceの分割可能性はキー境界をまたがないこと。Reduceに渡す結果の束ね方重要。 map部分の処理は、複数のマシン上で分割可能である。 同様に、reduce部分の処理も、URL_AやURL_Kのようなデータの繰り返しの境界を破らなければ、容易に分割可能である。 問題は、mapの出力を分割してsortして、reduceに渡す方法である。 このとき、mapの出力を、同じキーは同じグループに属するように分割すればいい。 それで、(reduceが分散可能なように)キー境界を

  • 1