Hadoop Vaidyaを用いてMapReduceタスクの性能を診断する - Tech-Sketchはじめに 「Hadoop」の「MapReduce」で提供している「カウンター」機能は、ジョブ(MapReduceの実行単位)の統計値を取得できる組み込み機能で、ユーザーで定義することが可能です。例えば、ジョブ実行時の読み込みバイト数やCPU時間、物理メモリ使用量といったリソース情報の統計値が取得可能で、MapReduceタスクの性能分析に役立てることができます。 Apache HadoopのMapReduceに含まれている、 「Vaidya」 (「ヴァイジャ」サンスクリット語で「医師」)は、ジョブの統計値を用いて、MapReduceタスクの性能診断を行うフレームワークです。Vaidyaを利用することで、統計値からイレギュラーなリソース使用を示すMapReduceタスクを判定するといった、性能診断プログラムを容易に作成し、実行することができます。 Vaidya利用手順 Vaidya利用には
