Hadoopを使いこなす(2)

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。 古いAPIでは、MapRunnerを通じてこの流れを制御できますが、0.20.0からの新しいAPIでは単純にMapperクラスのrun関数をオーバーライドすることで、行えます。 デフォルトのrun関数は以下の通りです。 public vo

[t_otoda]

RT @kajitiluna 備忘録よう➡Hadoopを使いこなす

[shiumachi]

Hadoop内の各クラスの説明とカスタマイズポイントについて書かれている。

[restartr]

MapReduceRunner, Partitioner, Combiner, DistributedCache, Comparator, OutputFormat, Writableの仕様とカスタムポイントについて。

[yoshi_00_yoshi]

Hadoopを使いこなすpart2！MapReduceのカスタマイズポイントを解説