YARN上で動くSparkからGCログを取得する方法 - Qiita

JavaのアプリケーションでGC関連の調査を行う際は、GCログを吐き出させてログをGC Viewerなどで分析すると思います。 ただ分散処理環境のyarnでは、実行環境が分散している関係上設定方法に少し癖があります。 今回はYARNで実行されるSparkから具体的なGCログの取得方法について説明します。 SparkにGCログを出力させる spark-submitを行う際に書きのオプションを渡すことでexecutorのJVMにGCログを出力させることができます。 driverの場合も似た感じで渡せます。 Spark executorの標準出力を取得する GCログはexecutorの標準出力に出力されます。 yarn.log-aggregation-enableが有効になっていれば Sparkを実行しているノードのローカルに出力されます（Spark Web UI上からアクセスする事もできる）。