AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました | DevelopersIO
はじめに AWS Glueは、Pythonに加えてScalaプログラミング言語をサポートし、AWS Glue ETLスクリプトの作成時にPythonとScalaを選択できるようになりました。新しくサポートされたScalaでETL Jobを作成・実行して、ScalaとPythonコードの違いやScalaのユースケースについて解説します。 AWS Glue Now Supports Scala in Addition to Python ScalaでETL Jobを作成して実行する ETL Jobは、ソース、ターゲット、カラムのマッピング、ETL言語などを指定すると対応したETLコードが自動生成されます。その生成されたコードに対して、さらにテンプレートを追加したり、コードを編集します。では早速、ScalaでETL Jobを作成してみます。 Job Properties 全般的なETL Jobに
sbt runでprovidedな依存ライブラリをクラスパスに含める - Qiita
本番環境ではライブラリがインストールされているからそれを使いたいけど、ローカルで実行/テストするときは環境作るの面倒だからsbt管理のライブラリを使いたいよってケースです。 build.sbtで以下のように設定するとsbt runおよびsbt run-mainでprovidedにしたライブラリもクラスパスに含めて実行されます。 libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.3.1" % "provided", "org.apache.spark" %% "spark-mllib" % "1.3.1" % "provided", "com.github.scopt" %% "scopt" % "3.3.0" ) run in Compile <<= Defaults.runTask(fullClass
spark-submitにjarを渡すためにsbt assemblyするためのbuild.sbt - Qiita
logLevel := Level.Warn addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0") import org.apache.spark import org.apache.spark.{SparkContext, SparkConf} /** * Created by Siori on 15/05/22. */ object SparkSubmit_sample1 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount Application") val sc = new SparkContext(conf) val textFile = sc.textFile(args(0)) val fil
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Partition output by key in Spark using Datasets API
