前回も触れましたが、Spark のクラスタマネージャには、Standalone とMesos とYARN が存在します。ここではYARN 上でのSpark アプリケーションがどのように実行されるかを、HDInsight Spark の物理環境(リンクはこちら)に合わせて説明してみたいと思います。その前にまずYARN について軽く触れたいと思います。 YARNとは MapReduce v1 時代は、専用のJobTracker やTaskTracker と言われるプロセスでMRのジョブ制御やスケジューリングやモニタリングを行っていました。ただスケーリングに問題があり、MapReduce v2からそれを解決する目的で、YARNというMapReduce 以外でも汎用的に使えるプラットフォームが開発されました。YARNは汎用的に使用できるため、MapReduce以外にもSpark やStorm とい
![Spark on YARN のアーキテクチャ](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e42278961986527d69a26eb41d45cf1491ca68b/height=288;version=1;width=512/https%3A%2F%2Fkojish.wordpress.com%2Fwp-content%2Fuploads%2F2017%2F04%2Fclientmode.png)