BigQueryのテーブルのメタデータをCloud Data Catalogで管理する - yasuhisa's blog
自分が使いたいと思ったBigQuery上のリソース(tableやview)、内容を事前に完全に把握できている、ということは結構少ないのではないかと思います。そういったときに手助けをしてくれるのがメタデータです。BigQueryのリソースに対するメタデータを、Cloud Data Catalogのタグとして付与する方法を紹介します。Cloud Data Catalogを使うことで、分析者が必要なリソースに素早く辿り付いたり、正確な分析をするためのサポートができます。 BigQuery関連のAudit logを元に、以下の情報をData Catalogのタグに入れた。 - 最後にクエリを投げた{日, 人} - クエリを投げられた回数 「あまり使われていないので、信用できないデータかも」「最後にXXXさんがクエリ投げてるから、詳細詳しいかも」みたいな用途を想定してる pic.twitter.co
BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
[GA4] BigQuery Export schema - Analytics Help
This article explains the format and schema of the Google Analytics 4 property data and the Google Analytics for Firebase data that is exported to BigQuery. Datasets For each Google Analytics 4 property and each Firebase project that is linked to BigQuery, a single dataset named "analytics_<property_id>" is added to your BigQuery project. Property ID refers to your Analytics Property ID, which you
アソシエーション分析入門 #03 | uxmeetsdata.com
すべてのユーザーの行動の観察はできないため、似たユーザーをセグメント（Segment）に分類し、観察すべきセグメントを選定します。優良化の要因となる行動特性を把握するには、優良化している会員と優良化していない会員との間に存在する違いを比較観察すればよいので、観察すべきセグメントとはその二つになりますが、もう少し絞り込むために優良化との相関が強いサブセグメントを見つけます。例えば、優良化と高齢者の相関が強ければ、高齢者同士で比較すれば違いを発見しやすくなるということです。 優良化との相関が強いサブセグメントを見つけるには、まず二つの事象間の相関が仮説として想定されるものについて事実を検証していく検証的アプローチ（Verifying Approach）による分析を行います。今回の場合でいうと、特定の性別や年代、あるいは購買商品カテゴリなどの変数と優良化との間に相関があるという仮説を検証していき
BigQuery BI Engine解説
こんにちは、エクスチュア渡部です。 2019/4/9-4/11に行われたGoogleNext@サンフランシスコに参加して来ました。 GoogleNextのレポートは、以下のブログも是非読んでください。 GoogleNext 2019レポート:1日目 GoogleNext 2019レポート:2日目 GoogleNext 2019レポート:3日目 データアナリスト／データエンジニア向けNext19まとめ 今回はデータアナリティクス周りの発表の目玉の一つである 「BigQuery BI Engine」に関して解説していきたいと思います。 https://cloud.google.com/blog/products/data-analytics/google-cloud-smart-analytics-accelerates-your-business-transformationより引用 【概要
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
Redshift to BigQuery migration for gaming app | Google Cloud Blog
Discord's migration from Redshift to BigQuery: lessons learned Editor’s note: We’re hearing today from Discord, maker of a popular voice, video, and text chat app for gaming. They have to bring a great experience to millions of customers concurrently, and keep up with demand. Here’s how they moved from Redshift to Google Cloud’s BigQuery to support their growth. At Discord, our chat app supports m
DML without limits, now in BigQuery | Google Cloud Blog
Data manipulation language (DML) statements in BigQuery, such as INSERT, UPDATE, DELETE, and MERGE, enable users to add, modify, and delete data stored in BigQuery, Google Cloud’s enterprise data warehouse. DML in BigQuery supports inserting, updating, or deleting an arbitrarily large number of rows in a table in a single job. We are constantly making improvements to our DML functionality for bett
Firebase と BigQuery、Redash でコホート分析グラフを作成してみたよ｜mohya
どうも、ファームノートでエンジニアをしている永沼です。この記事はFarmnote Advent Calendar 2018の16日目です。 最近 Firebase に入門中です。先日はFirebase と BigQuery の連携をするとおいくらかかりそうか雑に試算してみました。今回はじゃあ実際にひとつ連携させてやってみたよ、という話です。 TL;DR・Firebase と BigQuery を連携させて Analytics データを集計できるよ ・イベントデータはデータ構造にちょっと癖があるよ ・さらに Redash とかと連携させるとグラフ化できて便利だよ背景前回の記事に書いたので詳しくは見てくださいませ。ざっくりこんな感じ。 ・Firebase 向け Google Analytics はほとんどお仕着せのグラフしか使えない ・BigQuery と連携すると Analytics データ
BigQuery を Firebase にリンクする - Firebase ヘルプ
Firebase を BigQuery にリンクすると、次のことが可能になります。 BigQuery SQL を使用した独自のクエリで、元データを分析する。 データをエクスポートして独自のツールで使用する。 Firebase を BigQuery にリンクすると、Google アナリティクス（A/B Testing と Dynamic Links のデータを含む）、Crashlytics、Cloud Messaging、Performance Monitoring のデータを 1 日単位でエクスポートし、対応する BigQuery データセットに渡すよう選択できます。 注: 現在、Firebase Dynamic Links は非推奨となっています。この変更の詳細 データセットに対してクエリを実行したり、データをエクスポートしたり、外部ソースからのデータと結合したりして、カスタム分析を行う
Firebase と BigQuery の連携をするとおいくらかかりそうか雑に試算してみた｜mohya
どうも、ファームノートでエンジニアをしている永沼です。この記事はFarmnote Advent Calendar 2018の2日目です。 最近モバイルアプリを作る機会があり Firebase に入門中です。やっていきー。 Firebase では Analytics データを BigQuery と連携させることができるのですが、実のところおいくらくらいかかりそうか不安だなぁということがありましたので試算してみました、という話です。 TL;DR・Firebase の BigQuery 連携でおいくらくらいかかりそうか試算してみた ・Firebase 側は無料と思われる ・BigQuery はある程度レコードが溜まった状態で $2 / 月以下の試算結果背景モバイルアプリに Firebase を導入すると、Firebase 向け Google Analytics によりログ分析を気軽に行うことがで
GoogleAnalytics Apps+Web プロパティをBigQueryと連携したついでにフラット化する
パッと見でevent_paramsカラムがネストされた縦方向のデータで構成されている事がわかります。 スキーマ仕様はこちらにに掲載されているとおりです。 Firebaseヘルプ > BigQuery Export のスキーマ Firebase/Apps+Webプロパティは「イベント」毎に一行のデータで構成されてます。 その各イベントに含まれる複数のプロパティ(GoogleAnalyticsで言うディメンション)がネストされています。 BigQueryのデータをフラットにする ネストされたJSON型のスキーマだとBI･ダッシュボードツールと連携する時に扱いづらいんですよね。 というわけで、私はこのネストされたデータを横方向に展開して、フラットなヒットログに直してからBIツールに接続させてます。 そして出来上がったクエリがこちらです。 SELECT event_date, event_time
Getting Started With Google Analytics: App + Web
Google recently released a new version of Google Analytics called App + Web. Clumsy name aside, this really is for all intents and purposes Google Analytics V2 or Firebase Analytics for the Web. We’re not talking about a charming way to do roll-up reporting between Google Analytics for Firebase and Universal Analytics, nor are we talking about an enhancement to Universal Analytics. No, we’re talki
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data analytics results via automated emails | Google Cloud Blog
BigQuery BI Engineで Data Portal（Data Studio）を高速化する
Data Analytics | Google Cloud Blog
Marketplace
No, the Cloud is not too expensive
Firebase Event Analytics with Google BigQuery
FirebaseAnalytics_BigQuery_Datastudio