BigQueryを使う処理のテストをどう書くか - Qiita

この記事はVOYAGE GROUP エンジニアブログ Advent Calendar 2014の6日目の記事です。 こんにちは、VOYAGE GROUPで片手間データサイエンティスト業に従事している@hagino3000です。 昨今のBigQueryムーブメントに乗って、分析用のデータをBigQueryに投入しはじめた方も多いと思います。しかし、BigQueryを使い出すと、集計バッチ等のテストコードがローカル環境で完結しなくなり、BigQueryそのものを参照したくなります。本記事ではいくつかのアプローチを紹介します。 サンプルコードはPython + nose + BigQuery-Pythonを使っています。 何が問題か 何故テストコードで悩むかというと、BigQueryは次の2つの特徴を持つから。 ローカル環境が作れない 少量のデータでもクエリに5秒程度かかる 特にクエリに時間がか

[somemo]

“Python製であるbqコマンドのテストコードがどうなっているか見てみる。 bq query xxx でクエリを発行できるので、そういったテストがあっても良いはず。 クエリを実行するテストは無い。(´･ω･`)”

[koyancya]

"クエリを実行するテストは無い。(´･ω･`)"

[minutesdht]

過激だ！

[a-know]

おおこれは

[katzchang]

「過激派 分析タスクのコードにテストなんて書かない」

[igrep]

Redshiftとかも辛いよね。Postgresで代用できるっちゃできるかもだけど。

[sue445]

過激だ！

[hagino_3000]

VOYAGE GROUP tech blog Advent Calendar 6日目書いた #bigquery