[B! mapreduce] n-3104のブックマーク

MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena

Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscala ble.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。いくつかの実用的なケーススタディも提供している。すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー

n-3104 2012/02/24

mapreduce

リンク

HadoopでMap/ReduceクラスのKey/Valueを自動判別する

HadoopでHiveなどを使わず生MapReduceアルゴリズムを書くと、MapクラスとReduceクラスのKey/Valueのクラス型をJob実行時にいちいち指定しなければいけないのが若干面倒くさく感じます。僕がまだあまりHadoopについて理解してないのかもしれませんが...

n-3104 2011/10/18

mapreduce

リンク

Large-Scale Graph Processing〜Introduction〜(完全版)

グラフデータの大規模処理はMapReduceよりも効率の良い計算モデルが提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへの対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものをMap Reduceと比較して紹介するとともに、最後に各プロジェクトの特徴を挙げています。