KLab-データ分析グループのblog : pythonでElastic MapReduce2013年02月06日 カテゴリpythonHadoop pythonでElastic MapReduce まとめElastic MapReduceは、amazonのAWS上でHadoopを使えるサービスです。一時的にインスタンスをたくさん立ち上げることで、重めのバッチ処理を分散処理できます。料金はEC2インスタンス分 +αで使用できます。http://aws.amazon.com/jp/elasticmapreduce/#pricing 楽！ インスタンスいっぱいたちあげます、計算します、結果まとめますという一連の処理を気軽に書けて、コマンド一発で実行できます。特に集計処理、バッチ処理には便利です。ただデバッグは手間がかかります。 MapReduceについてMapReduceは、大量のデータを複数のマシンで分散して扱うための技術です(デザインパターン的な)。基本的な考え方は、処理を以下の
