Hadoopにおける性能評価

卒業研究の時にいろいろ性能評価をとったのですが，Hadoopが一般にすごく注目されてることを受けてブログで実験データを公開しようと思います． 一般的なHadoopのジョブをノード数を変えて実行した際にリニアにスケールしているのか，HDDのI/Oを効率良く使えているのかを調べるためにとったデータです． 全ての性能評価で使用するノードの性能は，CPUはXeon E5410 2.33GHz(2 ソケットx4 コア)，メモリ容量は32GB． Teragenで入力ファイルを生成し，そのファイルに対して読み込み，grep, sort をした時のそれぞれの結果を示します． 書き込んでから読み込む前にちゃんとキャッシュから追い出してディスクから読むようにしています． 全てのグラフにおいて縦軸がスループットになってますが，実際にとっているデータはジョブ全体の終了時間だけで，スループット = 全体の入