Hadoop MapReduce デザインパターンの3章まで読んでみた。 - wyukawa's diary
Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理 作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブログ (16件) を見る いわゆる子象本。小象でも小僧でも無いよw 監修者のブログの Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道 で詳しく紹介されています。 原著はこちら Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) また原文のPDFをこちらから入手できます。 Jimmy Lin » Data
MapReduce デザインパターン (1) - めもめも
はじめに この一連のメモは、Data-Intensive Text Processing with MapReduceに掲載されている Pseudo-code を実際に Hadoop で実行可能な Java クラスとして書いてみることを目的としています。 Java のソースコードを掲載するついでに、各デザインパターンのポイントをメモ書きしていきます。 筆者は、Perl 屋さんなので、(MapReduce と関係なく）Java のコードとしていけてない所は、やさしくご指摘下さい。m(_ _)m MapReduce デザインパターンの心 MapReduce で複雑な処理を行うには、Shuffle 処理をいかに活用するかが１つのポイント。 (1) Map の出力の Key に何をつかうか (2) Reduce に渡すデータの分割方法をどうするか の２点をよく考える事で、Reduce がより有用な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
