エンタープライズEMR!! 使って分かったオレオレプラクティス - Qiita

設計にあたってすごく考えたこと いざEMRを導入して設計するぞとなると、やっぱり特有の癖があるわけです。 Hadoopの特性もあるのですが、設計にあたっては以下のようなコンセプトを置きました。 壊れることを前提とした設計 マネージドの恩恵をうける 以降で一つずつ説明していきます。 壊れることを前提とした設計 エンタープライズだとオンプレミスでのサーバ運用というのもまだまだ主流です。 私自身も長くオンプレ環境のエンジニアだったこともあり、壊れることを前提とした設計や運用というとどこか後ろめたさがあります笑 ただ、技術検証をしているとEMRのコアノードがしれっとお亡くなりになっていることもちょいちょいあったのと、 SAの方も業務上重要なデータをEMR上で永続化しておくのはおすすめできないという話も伺ったので、以下のような考え方で設計してみました。 あくまでEMRは処理エンジン EMR上にはクリ