エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
pysparkでSparkSQLの文法チェックをする | takemikami's note
記事へのコメント1件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
pysparkでSparkSQLの文法チェックをする | takemikami's note
ETL処理などをSpark SQLで行う場合に、 SQLを設定ファイルに持たせておくケースは、よくあると思います... ETL処理などをSpark SQLで行う場合に、 SQLを設定ファイルに持たせておくケースは、よくあると思います。 このような設定ファイルに書いてあるSQLが文法的に正しいかどうかを、 単体テストレベルでざっとチェックできると、 実サーバでの動作確認から手戻りが減らせると思い、方法を調べてみました。 # 本来はダミーデータなどを作成して、 # ローカルの環境で、実際にクエリを実行・テストすべきではありますが。 やりたいこと前提として、次のようなyamlファイルにSQLが書いてあるとします。 queries.yaml --- queries: - id: ok query: select * from hoge - id: ng query: selects * from hoge やりたいことは、 このファイルのSQLが文法的に正しいかどうかを、単体テストで確認することです。 単体テストの