AWS認定Big Data勉強記 - 5: Amazon EMR - QiitaYARN: Yet Another Resource Negotiator Resource Manager マスターサーバーで動く スレーブのリソースを管理 ジョブ管理はしない Node Manager スレーブサーバーで動く サーバーのリソースをRMに報告 サーバー上のコンテナの管理 Container スレーブのリソースが切り出されたもの NMによって起動 Application Master ジョブ全体を管理するコンテナ EMRにおいては、MapReduceやHiveやSparkへ計算資源を割り振ってくれる。共通のリソースを分割して扱ってくれる。 特徴と機能 EMRFS S3をHDFSのように扱える。 CPUとストレージの分離 S3の暗号化も対応 Consistent View 新しいオブジェクトのプット → Read-after-write consistency 上書きプット/
