SparkInternalsで知る、Sparkの内部構造概要（Architecture） - Qiita

はじめに こんにちは。 前回に引き続き、SparkInternalsを訳していきます。 前回と同じく以後は下記の判例となります。 SparkInternals訳文 コメント 既に3章でSparkジョブについて記述しているが、本章では全体のアーキテクチャと、Master、Worker、Driver、Executorといった要素が如何に協調してジョブを終了させるかについて記述する。 図を用いて理解したい場合はコードの部分は読み飛ばしてもらって構わない。 Deployment diagram 概要章にて、下記の図を用いて概要説明を行った。 次はこの図の詳細についてみていく。 Job submission この図はどのようにMasterノード上に存在するDriverプログラムがジョブを生成し、Workerノードに登録するかを示している。 Driver側の振る舞いは下記のコードの流れとなっている。