IntelliJでScalaのSparkアプリケーションの開発環境を作る - QiitaHow to kick-start Spark development on IntelliJ IDEA in 4 stepsを参考に開発環境を作ったのでメモ おおまかな手順 sbt管理なプロジェクトを作る sbt-assemblyをインストール sbtファイルにSparkの依存ライブラリを記述する これだけで、SparkアプリケーションをSparkのlocalモードで走らせることができるようになる。このへん、Sparkがスケジューラ部分をちゃんとモジュール化してるから簡単にできるんだろうなぁという印象。コードは読んでないけど・・ sbt管理なプロジェクトを作る sbt-assemblyをインストール 分散環境上で動くSparkでは、spark-submitするときにアプリケーションのJARファイルを配る。このときに外部ファイルへの依存があると、各サーバーにそれらのファイルも配らなきゃいけ
