Spark on YARN のアーキテクチャ前回も触れましたが、Spark のクラスタマネージャには、Standalone とMesos とYARN が存在します。ここではYARN 上でのSpark アプリケーションがどのように実行されるかを、HDInsight Spark の物理環境（リンクはこちら）に合わせて説明してみたいと思います。その前にまずYARN について軽く触れたいと思います。 YARNとは MapReduce v1 時代は、専用のJobTracker やTaskTracker と言われるプロセスでMRのジョブ制御やスケジューリングやモニタリングを行っていました。ただスケーリングに問題があり、MapReduce v2からそれを解決する目的で、YARNというMapReduce 以外でも汎用的に使えるプラットフォームが開発されました。YARNは汎用的に使用できるため、MapReduce以外にもSpark やStorm とい
