BigQuery脱初心者を目指せ！今から覚えるべきテクニック3つ - カイワレの大冒険 Third
CASEやJOIN、GROUP BYなども覚えて、SQLは大体大丈夫！となっている方も多いかもしれません。 しかし、BigQueryに触れるなら、もうちょっと覚えておいた方が楽になることが色々あります。 ので、覚えてみましょうと言う話。3つで十分なのかという声もあるでしょうが、ネタが出てこないので、3つで許してください。 1. TABLE_DATE_RANGE() TABLE_DATE_RANGE() で、複数テーブルからフェッチ。 SELECT id FROM TABLE_DATE_RANGE([foo_dataset.], TIMESTAMP('2015-09-10'), TIMESTAMP('2016-06-15')) ちなみに、 [] 使えば、テーブル名が日付だけでも大丈夫です。 それがないと、こんなエラーになるので、気をつけてください。 Encountered " "TIMEST
BigQuery で今月のテーブル名を TABLE_QUERY を使って取得する - Qiita
BigQuery には Table wildcard functions という関数があって、テーブルを日次、月次とかに分割している場合に重宝します。 例えば、 TABLE_DATE_RANGE(mydata.people, TIMESTAMP('2014-03-25'), TIMESTAMP('2014-03-27')) こう書くと、 mydata.people20140325 mydata.people20140326 mydata.people20140327 というテーブルが一気に取得できます。 しかし、これ日次でテーブルを分割している場合にしか使えなくて、そこまで行数が多くない場合、月次で分割しているテーブルがあって、その今月分のデータだけを引っ張ってきたい、という場合に使えないのです。 ということで、擬似的に TABLE_MONTH_RANGE 的なことができないか試しいたとこ
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
ネストされたJSONデータをFluentdでGoogle BigQueryに投入してクエリを実行する
ネストされたJSONデータ（https://cloud.google.com/bigquery/docs/personsData.json）を、fluentdを使ってGoogle BigQueryに投入します。 BigQueryは、こういった構造化されたデータに対応する WITHIN、FLATTEN といったSQL関数が準備されています。 これらを利用したSQLクエリを構築してデータを取り出してみます。 プロジェクトを作成 https://console.developers.google.com/project Google Developers Consoleを開き、プロジェクトを作成して、『プロジェクト ID』『メールアドレス』をメモしておいてください。 また、P12キーファイルを保存しておいてください。 認証で必要になります。 サーバ AMI: CentOS 6 (x86_64)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Pivot table in BigQuery
bqを使用してGoogle Cloud Storage上のCSVファイルをBigQueryのテーブルに格納する方法 - 森薫の日記
