大規模データについて第5回～EMR開発_運用編～ - Qiita

はじめに 今回は 「EMR開発/運用編」になります。 EMRバッチを継続的に安定運用するためのコツについてまとめました。 EMR編の最後になります。 EMR運用のコツは、特性である 「必要なときに必要なだけ使う」 を生かすことだと思います。 これを徹底することで我々のEMR費用は当初の 約半額程度まで、持っていくことができました！ EMRインスタンス起動について 先ず最初に、以下が我々のEMR起動オプションになります。 export EMR_CREATE_OPTION="--create --hadoop-version 1.0.3 --ami-version 2.3.6 \ --subnet ${EMR2_SUBNET_ID} \ --region ${EMR_INSTANCE_REGION} \ --num-instances ${EMR_INSTANCE_NUM_INSTANCES}