Spark実行方法メモ(Hishidama's Apache Spark submit Memo)
概要 Sparkアプリケーションを実行するにはspark-submitコマンドを使用する。 アプリケーションはコンパイルしてjarファイルにしておく必要がある。 例 Linux上でSparkアプリケーションを実行してみる例。 RDDサンプルのソースは以下のような感じ。 src/example/Example.scala： package example import org.apache.spark.SparkConf import org.apache.spark.SparkContext case class MyData(var n: Int) object Example { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("example") val sc = new Sp
Java／Groovy／Scalaで、コマンドライン引数処理 - CLOVER🍀
最近、ちょっと身の回りでコマンドライン引数の処理が話題に挙がりまして、ちょっとJava系でどんなのが使えるのか調べてみました。 ちなみに、もともと話が出たのはJavaでしたが、このエントリでは加えてGroovyとScalaも書きたいと思います。 実行するコマンドのお題は、以下とします。 指定されたメッセージを、指定された回数表示するコマンドLoopEchoを実装する 「-m」オプション（ロングオプション「--message」）で表示するメッセージを指定し、必須項目とする 「-c」オプション（ロングオプション「--count」）で表示回数を指定し、任意項目とする（デフォルト値：3） Java／args4j このエントリを書く元になった仕事の上では（残念ながら自分が実装するわけではないので）、Commons CLIになったのですが、今回はこちらを使用したいと思います。 args4j : Jav
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scalaメモ(Hishidama's Scala Memo)