第4回 投機的実行 | gihyo.jp

今回のテーマは投機的実行です。投機的実行は、MapやReduce Taskの処理の失敗を見越して、空いているリソースを使って同じTaskを実行するものです。HadoopのMapReduce Jobの特徴的な機能としてよく取り上げられますが、サンプルのJobを動かしてみる程度では、効果があるのか、そもそもこの機能が動いているのか、なかなか確認しづらい代物です。また「投機的実行を動かしてはいけない場面」も存在します。halookのキャプチャ画像を基に、投機的実行とはどういったものなのか、どういうときに実行されるのか、見ていくことにしましょう。 なお、本記事中のサンプルは、CDH3u5の、TaskTrackerノードが3台の環境で実行した結果です。各TaskTrackerのMap、Reduceスロット数はそれぞれデフォルトの2で設定されており、1つのジョブで同時に実行されるMapタスク数、Red

[KenichiroMurata]

MapReduceタスクの投機的実行の可視化。 halookで始めるHadoop/HBaseトラブルシューティング：第4回　投機的実行 #gihyojp

[kimutansk]

#hadoop #halook 中身を見えるようにするということはこういうこともわかるようになる・・・というのは大きいですね。投機的実行の実行状況は初めて知りました。