タグ

BigQueryに関するvine_hateのブックマーク (3)

  • 【GoogleBigQueryTips】standardSQLで、秒・ミリ秒・マイクロ秒タイムスタンプを->日付に変換する..他 - Qiita

    GoogleBigQueryTips】standardSQLで、秒・ミリ秒・マイクロ秒タイムスタンプを->日付に変換する..他BigQueryGoogleCloud はじめに タイムスタンプを日付に変換するというのは、分析をしているとしょっちゅう使うクエリではあるのものの、毎回忘れてしまうのでこちらに残しておきます。 特に、FirebaseAnalyticsから、BigQueryにデータをエクスポートしている場合には、"初めてアプリを開いた日"がミリ秒のタイムスタンプとして保持されているので、ユーザー分析を行う上で以下の変換を行うことは良くあるかと思います。 ご参考までに! 秒 --> 日付に変換

    【GoogleBigQueryTips】standardSQLで、秒・ミリ秒・マイクロ秒タイムスタンプを->日付に変換する..他 - Qiita
  • FirebaseAnalytics x BigQuery でSQLからクローズドファネルを作る - Qiita

    3行まとめ FirebaseAnalyticsでは、現状オープンファネルでのレポーティングしかできず、ニーズの高いクローズドファネルはコンソールの機能としては提供されていない BigQueryExportしていれば、SQLでシンプルに作れるので楽チン RedashやmetabaseなどのBIツールと連携しておくと幸せになれるかも FirebaseAnalyticsでは何故かオープンファネルしか見れない FirebaseAnalyticsには、ファネルレポート機能がありますが、こちらオープンファネルでのレポーティングになっていて、正直かなり使いづらいです笑 要は単純に各イベントの発生回数をバーチャートで表示しているだけなので、初めて使う方は戸惑ってしまうのではないでしょうか? クローズドファネル機能の追加は改善ニーズとしては上がっているようで、GoogleDevelopersブログでも紹介さ

    FirebaseAnalytics x BigQuery でSQLからクローズドファネルを作る - Qiita
  • GitHubで管理されたデータマート構築基盤の紹介 - ZOZO Technologies TECH BLOG

    こんにちは。バックエンドエンジニアの田島(@katsuyan121)です。 弊社ではデータマートをBigQuery上に構築しています。データマートはデータベース全体のデータのうち、必要なデータだけを使いやすい形にしたデータベースです。データマート作成のためのSQLクエリは日々更新や追加があり、BigQueryのコンソールから自由にデータマートを作ってしまうと管理が大変になってしまいます。 そこで、データマートをすべてGitHub上でバージョン管理し、運用の効率化をしました。また、差分更新の導入や依存関係のあるデータマートへの対応などのデータマート構築に必要な機能を作成しました。 弊社のデータ基盤をざっくり紹介します。まずデータはBigQueryへ集約し、Digdagを用いてデータ基盤を構築しています。以下がその概要図です。S3などの分散ストレージや各種DBからデータをBigQueryへ同期

    GitHubで管理されたデータマート構築基盤の紹介 - ZOZO Technologies TECH BLOG
  • 1