Spark でUnit Testを書く - astamuse Lab
こんにちは、朴と申します。 本日はSpark-testing-baseを使ってSpark処理の単体テストの書き方について触れてみたいと思います。 ローカルで並列処理の単体テスト動かすのは少しハードル高く感じるかもしれませんが、 ちょっとした設定でスムーズに動かせたので、設定から簡単なテストまで書いてみたいと思います。 Spark-testing-baseの概要 ローカルでSparkのプログラムの単体テストを書く為のフレームワークです 複雑な設定をせず簡単にSparkプログラムの初期化、起動ができます。 簡単な紹介など、以下のリンクから確認できます。 Spark-testing-base 設定 とりあえず、公式サイトにある通り設定を行います。 sbtプロジェクトのbuild.sbtに以下のdependencyを追加します。 ※2.2.0の部分は実際使うSparkのバージョンに合わせてください
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - YUHAI0/spark-jq: A spark toolkit for half structured or structured format data's analytics
Dependency Injection with Spark
Spark Thrift Serverを構築してクライアントツールと連携するための手順(簡易) - Qiita
「Apache Spark」×「Scala」で分散処理入門 : エキサイト公式 エンジニアブログ
