EMRのログをS3/Localから追う - Qiita概要 諸事情でYARNやSparkのWebUIがすぐに見れない、でもEMRのStepがなんか失敗しているのでログを見たい！というときにS3から見る方法。 というかEMRのログで作られる各中身の確認 前提 emr-4.7 Spark 1.6 Hadoop 2.7 ログ出力先にS3の任意のフォルダを指定。 ログディレクトリの構成 cluster EMR clusterはそれぞれIDを持ちます。（例： j-2540JQ2HFN027 ） containers 各Hadoopアプリケーションにおいて、分散環境上に複数のコンテナが立てられます。 各アプリケーションはIDを持ちます。（例： application_10000032000_0001 ） 各コンテナはIDを持ちます。applicationのIDにコンテナ用の通し番号が付いた文字列になります。（例： container_1000003200
