BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
BigQuery で既存のテーブルにカラムを追加する - Qiita
$ bq --format=prettyjson show project_id_x:dataset_id_y.table_id_z > table.json $ cat table.json { "creationTime": "xxx", "etag": "xxx", "id": "project_id_x:dataset_id_y.table_id_z", "kind": "bigquery#table", "lastModifiedTime": "xxx", "schema": { "fields": [ { "name": "time", "type": "INTEGER" }, ------------- 略 ------------- { "name": "hoge", "type": "STRING" } ] }, "selfLink": "xxx", "tableRefe
BigQuery で Window Function を使って Cumulative Sum (累積和) を求める練習 - Qiita
長年 Window Function のない RDBMS を使っていたので触れる機会がなかったんですが、10年戦えるデータ分析入門という書籍で色々と説明してあったのでとりあえず練習。 この本では PostgreSQL を題材にしていましたが、BigQuery でも Window Function が使えることがわかったので、それでやってみました。 題材 BigQuery の Public Datasets の中には Hacker News の投稿データを持った bigquery-public-data:hacker_news.stories というデータから、2015 年 1 月の日別投稿数とその累積和を出してみます。 クエリ とりあえずこんな感じに書いてみた。 SELECT posted_date, COUNT(posted_date) AS posts, SUM(posts) OVER
bq query --max_rows（--n）に指定できる最大値 - Qiita
調査経緯 Cloud ShellやVMインスタンスからbq queryでBigQueryに接続してクエリ発行したとき、「--max_rows=行数」または「--n=行数」で指定できる最大値が日本語の公式リファレンスに記載されていなかった。 bq コマンドライン ツール リファレンス 推測 bq query --helpでオプションを確認したところ以下のようになっていたので、integerの最大値と推測する。 integerの最大値は「2147483647」なので、 「bq query --max_rows=2147483647 "実行したいクエリ"」で正常終了、 「bq query --max_rows=2147483648 "実行したいクエリ"」で異常終了すれば、推測通り。 結果 --max_rows=2147483647の場合 正常終了。 --max_rows=2147483648の場
BigQuery からCloud Storageへのデータのエクスポート - Qiita
BigQuery からCloud Storageへエクスポートする。 BigQueryからは直接ダウンロードできない？しにくい？ ハマったのでメモ 割り当てのポリシー BigQuery からのデータのエクスポートには、次の制限が適用されます。 1 日あたりの制限: 1 日あたり 1,000 回のエクスポート、最大 10 TB 複数ワイルドカード URI の制限: 1 回のエクスポートで 500 URI エクスポートURI URL jsonはファイル容量が大きいのでgzがおすすめ -単一の URI 単一のファイルにデータをエクスポートする場合は、単一の URI を使用します。ほとんどの場合、エクスポートされるデータは BigQuery で制限されている 1 GB というファイルあたりの最大値よりも小さいため、このオプションは最も一般的なユースケースです。 プロパティの定義: ['gs://m
素敵クエリの紹介と解説 - Google Assistantアプリのログを集計 - - Qiita
Google Assistant アプリのログは Stackdriver Logging に入っているので BigQuery にシンクさせれば好きにクエリを叩くことができます。 とはいえ、どんなデータをどんな風に取れるかわからないとイメージしづらいと思います。 そこで、Actions on Googleの生ログを叩く 具体的なクエリの例を使いながら解説していきます。 BigQueryにシンクする方法はこのスライドをどうぞ ↓ https://speakerdeck.com/sesta/liberty-of-analytics クエリ例 1: 発話された言葉ランキング ユーザーの発話内容ログから、 どんな言葉でアプリを使っているかがわかるようにします。 WITH formated_json as ( SELECT SUBSTR(textPayload, 33, LENGTH(textPayl
SpreadSheetでGoogleAppScriptを使ってみた(データロード) - Qiita
やりたきこと spread sheetにgasを書いて定期実行でBQにデータをロード ~背景説明~ spread sheetのデータを定期実行でBQに入れる時は、 スプレッドシートのデータをBigQueryにインポートしてみた にあるようなやり方で簡単に入れることができます。 しかし 社内の規約でサービスアカウントからBQは見れるが, spread sheetが見に行けない状態でした。。。 そのためgasを書くことに。。・ やり方 bigquery APIやspread sheet APIを色々許可する（詳しいところは忘れました） spread sheetを開いて ツール>スクリプトエディタ の順でスクリプトエディタを開く 以下のgas(Google Apps Script)を記入 編集>現在のプロジェクトのトリガ を開く 好きなタイミングを指定して保存 //BQ側の設定 var proj
Google BigQueryをCLIで使ってみる - Qiita
前回、BigQueryを初めからweb上で使ってみるという事をやってみました。 今回は、CLIツールを使ってBQを操作しようという事をやってみようと思います。 ゴール GCPのCLIツールでデータセット/テーブル作成-削除,クエリの発行結果の取得までをやる 1. SDKのダウンロードとインストール & 初期設定 インストール $ curl https://sdk.cloud.google.com | bash bash再起動 $ exec -l $SHELL gcloudコマンド初設定 $ gcloud init GCPのページがwebページで開かれて、承認画面に行くのでOKとすれば大丈夫です 使うプロジェクトを選択する アカウントでのログインが成功すると、次にどのプロジェクトを使うか聞かれます Pick cloud project to use こんな表示が出て、選択待ち状態になります
BigQuery の Partitioned Table 調査記録 - Qiita
embulk-output-bigquery の Partitioned Table 対応で調べてたので、その時に調べたものを雑にまとめておく。APIを直接叩いて実装しているので、bq コマンドでの使い方については調べていない。 EDIT: 現在は DATE もしくは TIMESTAMP カラムを指定した partitioning が可能ですが、本ドキュメント記載時にはまだ BigQuery がサポートしていなかったため、その記述が抜けています。 TL; DR 基本的に tableId に partition decorator ($YYYYMMDD) を指定して操作する DAYパーティションしか(今のところ)切れない。 特定パーティションのデータを置き換えたい場合は、パーティションを指定して、writeDisposition: 'WRITE_TRUNCATE'として load (または
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud ComposerでBigqueryへデータをロードする - Qiita