Firebaseで取得したログをBigQueryに連携してユーザー操作をトラッキングする | フューチャー技術ブログ
はじめにGCP連載2021も折り返しの6本目です！ 陽光麗らかなある春の日、ITコンサルタントのあなたの元に、ユーザーからの問い合わせが入りました。 「すみません、モバイルアプリの調子が悪いので確認してもらえませんか。」 「承知しました。起きている問題と、何時頃どのような操作をされたか教えていただけますか。」 「問題は~~で、いつもと同じ操作をしていたのですが…。」 「なるほど…。」 こんな時、特定ユーザーのアプリ操作をトラッキングできれば…と思うかもしれません。 今回は、そんな悩みをFirebaseとBigQueryの合わせ技で解決していきます。 FirebaseとはmBaaS (mobile Backend as a Service) を提供するGCPサービスのひとつです。 より一般的なBaaSのモバイルアプリ向けのイメージで、開発者はログ送信やDBアクセスなどのインフラ設定を気にする
大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG
はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきたいと思います。 同じ境遇の人が「簡単そうだしEmbulk使ってみようかな」となっていただければ幸いです。 目次 目次 背景 Embulk以外にも出てきた案 実際のEmbulkの導入と使い方 1. Embulkのインストールとセットアップ 2. 必要なプラグインのインストール 3. 設定ファイルを書く 実務でcodecommitを使った例 設定ファイルの書き方 4. まずはpreviewで問題なさそうか確認 5. 問題なさそうなのでrunして実行 Embulkの運用上、よくぶつかる課題 1. 重複に気付
BigQueryのWindow関数 - Qiita
Window関数とは ただの集約関数じゃないの？いいえ違います。 Googleの公式リファレンスには以下のように記載されています（2019年6月14日時点）。 データベースでは、分析関数は行のグループ全体に対して集計値を計算する関数です。行のグループに対して単一の集計値を返す集計関数とは異なり、分析関数は入力行のグループに対して分析関数を計算することで、行ごとに単一の値を返します。 一体どういうことかなかなかピンと来ないと思いますので具体的に説明していきます。 サンプルテーブル 例えば肉・野菜・魚の好き嫌いのアンケートをネットで調査したとする sample_table id user_id category like_or_not created_at
BigQueryのテーブルをリージョン移行する (asia-northeast1 > US) - Qiita
背景 2018年4月18日よりBigQueryにも東京リージョン (asia-northeast1)の提供が開始されました。 丁度新サービスで利用するタイミングと重なり、いざ東京リージョンで起動したところ、現状殆どのコマンドにLocation指定が必要なため、Redashも接続できなかったり不便すぎて、完全に早すぎました。1ヶ月後ならば全て解決している可能性あります。 仕事の都合上、今回はあまりこの辺に工数もかけられない & データも一部流し始めていたので、東京リージョンに残ったデータをキープしながらUSに移動を実施。 手順書があれば1分くらいで終わる作業を、色々細かいつまりポイントがあったので備忘録して記載。 前提 現状、基本的にはデータをリージョン間で跨ぐことは出来ない。今までのBQをデフォルトのUSリージョンで立てていて、今回からAsiaに作ると色々不便なことが発生する。具体的にはC
BigQueryのbqコマンドを全部試してみたので解説する
bqコマンドって何？ bqコマンドとは、Googleの最強DWHであるBigQueryを操作するためのコマンドラインツールのことです。bqコマンドはGoogle Cloud SDKをインストールすることで、利用できるようになります。今回apps-gcpでは、全てのbqコマンドの利用方法を説明します(※1)。 ※1 2016/05/12現在の全bqコマンド(v.2.0.24)を解説します。ただし、本記事公開後に解説したコマンドが削除されたり、または新規コマンドが追加される可能がありますのでご注意ください。また、全bqコマンドの概要・利用方法については説明しますが、各コマンド毎のオプションについては重要であると思われるものだけピックアップして解説します。 本記事はBigQuery経験者向けの記事となります。BigQueryの概要を理解したい場合は以下の記事を参考にしてください。 -はじめの一歩
Bigquery | 日付・時間系のクエリまとめ ( query reference 日本語訳 ) - Qiita
CURRENT_DATE 現在の日付を返します。 フォーマットは 年-月-日 です。 Returns a human-readable string of the current date in the format %Y-%m-%d. 結果: 2013-02-01 CURRENT_TIME サーバーの現在時刻を、読みやすい形で返します。 フォーマットは 時-分-秒 の形です。 Returns a human-readable string of the server's current time in the format %H:%M:%S. 結果: 01:32:56 CURRENT_TIMESTAMP サーバーの現在時刻を、タイムスタンプで返します。 フォーマットは 年-月-日 時:分:秒 です。 Returns a TIMESTAMP data type of the server'
IntelliJ系(DataGrip含む)でBigQueryに接続する方法 - Qiita
注意 注: この記事の内容は古いです。IntelliJのバージョンが2021.1以上の人は以下の方法で接続したほうが良いです。 IntelliJ便利ですよね。 JavaのIDEとして有名ですが、その他にも様々な言語のIDEとしても使えますし、さらにはDBクライアントとしても優秀です。 対応しているDBの種類が豊富ですし、機能もリッチです。 ですが、BigQueryにはデフォルトで対応していないので、そこだけちょっと惜しいです。 この記事ではIntelliJ系のIDEからBigQueryに接続する方法を説明します。 参考にした手法とその問題点 IntelliJ BigQuery でGoogle検索すると以下の記事が最初に見つかります。 https://blog.jetbrains.com/datagrip/2018/07/10/using-bigquery-from-intellij-bas
https://cloud.google.com/bigquery/sql-reference/query-syntax?hl=ja
Send feedback Query syntax Stay organized with collections Save and categorize content based on your preferences. Query statements scan one or more tables or expressions and return the computed result rows. This topic describes the syntax for SQL queries in GoogleSQL for BigQuery. SQL syntax notation rules The GoogleSQL documentation commonly uses the following syntax notation rules: Square bracke
【SQL】BigQueryで出力した結果をCSVとして出力し、Google Cloud Platformのバケットにアップロードする方法だお。 - Qiita
SELECT RANK()OVER(ORDER BY attack DESC) AS attack_rank, id, division, attribute, attack, defense FROM `company.staff_list_utf8_manual` ORDER BY 1; OUTPUT この出力結果をCSVデータとしてバケットに保存したい １．SQL実行で出力した結果をCSVデータとしてバケットに出力する方法 １．クエリ結果右の「結果を保存する」からCSVを選択し、保存する。 ２．GCPのバケットを開く ３．保存したCSVをバケットにアップロードする。ドラッグでもいける！ ２．テーブルをCSVデータとしてGCS（バケット）に直接エクスポートする方法 ※テーブルの作成方法はこちらをご参照下さい。 神記事：【BigQuery】Google Cloud Platform（GC
はじめての GCP ～ BigQuery にデータをロードしてみた～ | DevelopersIO
こんにちは、みかみです。 弊社業務では、AWS をメインに使用しております。データアナリティクス事業本部に所属しているので、DWH で Redshift は非常によく使っています。 恥ずかしながら、GCP も BigQuery も触ったことがありません。 いまさらながら、BigQuery ってどんな感じ？ ということで、実際にさわってみました。 やりたいこと BigQuery をさわってみたい！ BigQueryとは？ 言わずと知れた、Google Cloud Platform の DWH。 スケーラブルでクエリ実行も超高速！ 大量データのアドホック分析などに非常に役立つようです。 BigQuery ドキュメント もともと Google さん社内でデータ分析用途に使用していたシステム、Dremel を BigQuery として一般公開したそうで、カラムナストレージとツリーアーキテクチャが高
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery Best Practices
BigQueryの分析関数が便利 - イワモト・カイドウ
Escaping quote characters for query in bigquery's bq command line tool
BigQuery Data Transfer Service とは | Google Cloud