タグ

ブックマーク / kazuhira-r.hatenablog.com (1)

  • Apache SparkをScalaTestで動かしたい - CLOVER🍀

    このところ、SparkをStandalone ModeやYARNで動かしていましたが、もうちょっと機能的な感覚をつかみたいと思いまして。 で、毎度Spark Submitしてもいいのですが、テストコードで動かせないかなぁ、と…。 調べた感じ、やれないこともなさそうな雰囲気…。 Testing Spark Streaming Applications http://eng.tapjoy.com/blog-list/testing-spark-streaming-applications https://spark-summit.org/2014/wp-content/uploads/2014/06/Testing-Spark-Best-Practices-Anupama-Shetty-Neil-Marshall.pdf ちょっと、やってみましょう! 追記) ドキュメントをよーく見ると、ここに

    Apache SparkをScalaTestで動かしたい - CLOVER🍀
  • 1