pytestでSparkアプリケーションのテストを書いてみる - Qiita

Sparkで動くアプリケーションをPythonで書いたので、pytestでテストしたい！ 大規模データでもテストしたいので、YARNクラスタにも投げたい！ ある意味 pytestに入門してみたメモ の続編です。 pytestプラグインとかあるみたいですが 今回は手の内が分かったうえで自分でいろいろやりたかったので、前回の復習も兼ねて自前で作ってみることにします。 spark-submitコマンドを使わずにSparkにアクセス Spark向けに書いたスクリプトを実行する時、普通はspark-submitコマンドを使うと思いますが、今回はpytest経由で実行したいので、spark-submitを使わずに普通のPythonからpysparkモジュールを呼びたいわけです。 そのためには、本来spark-submitがやっている諸々の設定を自分でやればいいはず。spark-submitの処理を追い

[sh19910711]

"大規模データでもテストしたいので、YARNクラスタにも投げたい / spark_session: conftest.pyに移して、scope="session"と変更すれば、複数のスクリプトを回すときでも全体で1回だけ初期化することになるはず" 2018