Spark 初心者の頃に勘違いしていた５つのこと - Qiita

Apache Spark は、ビッグデータに対して高速に分散処理を行うオープンソースのフレームワークです。 ここでは自分が Spark を使い始めてしばらく勘違いしていたことを簡単にですが、5つご紹介します。 当初、Spark を Java のAPIを用いて使い始めましたが、そもそも Java 言語もあまり触ったことは無かったため、「そんなことも解っていなかったのか？」と言われるような内容かと思いますが、ご容赦ください。 勘違い１．driver プロセス内に配置したログは処理の順番に沿って出力されている 一般的にプログラムは、上から下に処理が進んでいくと思います。 そのため、アプリケーションの動作確認の用のログも上に書いたものから順番に出力されていくと期待すると思います。 例えば、以下のような処理を書いた場合、 SparkConf sparkConf = new SparkConf();