Amazon EMRの典型的なデザインパターンAmazon EMRを有効に使うには、クラスタやタスクノードの使い方を工夫する必要があります。 クラスタは一時的クラスタと永続的クラスタに分類出来ますが、 ・データのロード時間 ・処理時間 ・ジョブ数 によって、適切なクラスタを使用する事が大切です。 必要な時だけタスクノードを使うようにするとコストを削減し、パフォーマンスの向上が期待出来ます。 Amazon EMRを有効に使う方法 Amazon EMRを有効に使うデザインパターンとして、 ・一時的クラスタと永続的クラスタを使い分ける ・タスクノードの使い方を工夫する などの方法が考えられます。 一時的クラスタと永続的クラスタ ジョブが実行している間だけ動作しているが一時的クラスタで、ジョブに関係なく動作し続けるのが永続的クラスタです。 一時的クラスタは、 ・立ち上がっている期間が短いので、コストを節約出来る ・運用の手間が掛からない など
Lower Costs on Amazon EMR: Auto Scaling, Spot Pricing, & Expert Strategies (ANT385) - AWS re:Invent 2018
