Spark実行方法メモ(Hishidama's Apache Spark submit Memo)

概要 Sparkアプリケーションを実行するにはspark-submitコマンドを使用する。 アプリケーションはコンパイルしてjarファイルにしておく必要がある。 例 Linux上でSparkアプリケーションを実行してみる例。 RDDサンプルのソースは以下のような感じ。 src/example/Example.scala： package example import org.apache.spark.SparkConf import org.apache.spark.SparkContext case class MyData(var n: Int) object Example { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("example") val sc = new Sp

[nununux]

実行方法