Sparkの内部処理を理解する - Qiita

この記事はOpt Technologies Advent Calendar 2017の17日目です。 概要 11日の記事（Spark on EMRの基礎をおさらいする）にてSpark on EMRの構成はおさらいしましたが、トラブルシュートするためにはSparkの内部処理についても理解しておく必要がある、ということでまとめます。また本記事は上記記事を読んでいる方向けの内容となります。 （本記事は社内勉強会にて話した内容に修正を加えたものになります。） Sparkの処理の内部構造 概要 Sparkはコードでそれと意識していなくても分散処理が出来るのが強みですが、内部的には割とややこしいことをしています。具体的には、「どのロジック・オブジェクトがどこで実行されているか。またそのデータはどこから渡ってきているか」です。 RDD Sparkでは扱うデータをRDDと呼ばれるコレクションのような入れ物

[HHR]

Driverはcluster-modeの場合はApplicationMasterになる。client-modeの場合はローカルになり、ApplicationMasterはコンテナ要求などのみを担うっぽい。Executor=yarnコンテナ