しつこいがSpark & YARNの補足 – OpenGroove

しばらく前から気になっていたタイトルの問題、以下ブログに詳細が書かれており、やっと点が線につながってきた… Apache Spark Resource Management and YARN App Models 寝かせておくといつになるか分からない、かつ、読む気と書く気が失せるので、個人的に気になった点だけ今ここで要約しておく。意訳／誤訳／勝手に追記したりしてるので参考はほどほどに。 以下… MapReduceモデルでは最も上位の計算ユニットはJobだが、Sparkはその上にapplicationというレベルが存在する。applicatinsはJobをシーケンシャルに、もしくはパラレルに実行することができる。 Applicationはexecutorsと呼ばれるプロセスを持つ。executorはジョブが走っていない時でも起動している（データをメモリに保持し、タスクに対して素早く対応するこ

[tofy]

“Spark driver Spark driverは、SparkContextを実行するプロセス（アプリケーションセッションを表す）。 このdriverは、Applicationを個々のステップのダイレクトなグラフに変換する役割を持つ。各applicationにはひとつのdriverが存在する

[kimutansk]

「YARN clientモード」「YARN clusterモード」の違いは確かにわかりにくいですね。Driver部の位置が変わるだけではありますので。