BigQueryでデータロード時に欠損値の読み込みルールまとめ - Qiita
最近、bigqueryの評価を行っている。本番向けのデータではよくあることだが、本来データが入る場所にnullが入っていたり、要素が無かったり、逆に要素が多かったりする。 bigqueryはTreasureDataの様にスキーマレスではなくきちんとスキーマを定義しなければならない。 bigqueryでは、スキーマの定義にjsonを使い、データのロードにもjsonを使うため、要素にミスマッチが発生する場合が考えられる。 スキーマとjsonで要素のミスマッチがあった場合は、データにnullが入っていた場合のbigqueryの挙動に関してまとめた。 最初に結果だけ書き、後半に実際にデータロードで試したサンプルを乗せる。 データロード時のBigQueryスキーマと、jsonの対応 送信jsonにスキーマがある。 送信jsonにスキーマが無い
BigQueryのbqコマンドを全部試してみたので解説する
bqコマンドって何？ bqコマンドとは、Googleの最強DWHであるBigQueryを操作するためのコマンドラインツールのことです。bqコマンドはGoogle Cloud SDKをインストールすることで、利用できるようになります。今回apps-gcpでは、全てのbqコマンドの利用方法を説明します(※1)。 ※1 2016/05/12現在の全bqコマンド(v.2.0.24)を解説します。ただし、本記事公開後に解説したコマンドが削除されたり、または新規コマンドが追加される可能がありますのでご注意ください。また、全bqコマンドの概要・利用方法については説明しますが、各コマンド毎のオプションについては重要であると思われるものだけピックアップして解説します。 本記事はBigQuery経験者向けの記事となります。BigQueryの概要を理解したい場合は以下の記事を参考にしてください。 -はじめの一歩
bigqueryにおけるスキーマ管理の悩みとUNIONの性質について - Qiita
まず、結論を先に書いておくと、全然解決してなくて、今も絶賛悩み中です。 bigqueryにデータをロードする時、1テーブルに全データを投入し続けていくと1クエリで読み込むデータがどんどん大きくなり課金額が上がってしまう。(bigqueryはWHERE句等に関わらず常にテーブルの全行を読み込む) なので、日付毎や何らかのキー毎にテーブルを分けるというのが割と良くあるユースケースになっている。 それを支援するために、テーブルワイルドカード関数が用意されていたり、テーブルのUNIONが,で区切るだけで記述できたりする。 最初勘違いがあったのだが、bigqueryはテーブルレベルでスキーマが異なっていても、クエリで利用するカラム名と型が一致していればUNIONできるという性質を持っている。 まあ、よくよく考えれば当たり前で、普通のRDBでUNION句を利用しても同じことなのだが、bigqueryの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
