MapReduce デザインパターン (1) - めもめもはじめに この一連のメモは、Data-Intensive Text Processing with MapReduceに掲載されている Pseudo-code を実際に Hadoop で実行可能な Java クラスとして書いてみることを目的としています。 Java のソースコードを掲載するついでに、各デザインパターンのポイントをメモ書きしていきます。 筆者は、Perl 屋さんなので、(MapReduce と関係なく）Java のコードとしていけてない所は、やさしくご指摘下さい。m(_ _)m MapReduce デザインパターンの心 MapReduce で複雑な処理を行うには、Shuffle 処理をいかに活用するかが１つのポイント。 (1) Map の出力の Key に何をつかうか (2) Reduce に渡すデータの分割方法をどうするか の２点をよく考える事で、Reduce がより有用な
