Spark 共有変数 - Qiita

Sparkでは、各executorに定数を転送したり、各executorで集計した値をdriverで受け取ったりする機能がある。 SparkはScalaの関数（クロージャー）を使って処理を記述するので、関数の外側で定義した変数を関数内で使うことは出来る（ようになっている）が、実行はexecutor（分散した各ノード上）で行われるので、そこで変数に対して行われた変更はdriver側には反映されない。 当然、executor間で参照し合うことも出来ない。 そのため、driverとexecutorとの間で値を共有するための仕組みがSparkには用意されている。 ブロードキャスト変数（broadcast variables） は、driverで定義した定数（固定値）を各executorに転送する為の変数。 SparkはScalaの関数（クロージャー）を使って処理を記述するので、ブロードキャストを使