こんにちは、『地球の歩き方ムー』創刊のニュースに心を踊らせている、データ基盤ブロックの塩崎です。 本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介します。 BigQuery費用はクエリ費用だけではない ZOZOのデータ基盤として利用されているBigQueryは、非常にパワフルなDWH（Data WareHouse）です。しかし、それ故に利用者の意図しないところで費用が高騰することもしばしば発生します。よく問題になるのはクエリ費用の高騰であり、以下のQiita記事はBigQuery利用者の中でも有名です。 qiita.com このクエリ費用の高騰に対し、我々データ基盤ブロックはこれまでに、いくつもの方法で対処してきました。具体的な取り組みの一部は以下の記事で紹介しているので、併せてご覧ください。 techblog.zozo.com techb

2020年10月にリリースされたGoogleアナリティクスの新しい規格である、GA4（Googleアナリティクス4プロパティ）。GA4は、BigQueryと連携することで活用の幅を大きく広げることができます。 また、UA（ユニバーサルアナリティクス）は、2023年7月1日でGoogleのサポートが終了します。そのため、Googleアナリティクスをアクセス解析ツールとして利用しつづけるには、GA4への移行が必須です。 そこで今回は、GA4とBigQueryの連携方法からよく使うSQL、そしてLooker Studio（旧Googleデータポータル）を活用した可視化の方法まで、詳しく解説します。GA4のデータをWebサイトやアプリの分析でもっと活用していきたい方は、ぜひご覧ください。

データの分析や処理に便利なBigQuery(BQ)。 大規模データの処理に優れており、テーブルに保存した大きなデータでも短時間で集計することができる。 SQLに対応しているのでRDBに馴染みがある人には扱いやすいのも特徴だ。 BQでは他のDBと同じようにdate型の日付データを扱うことができる。 日付データが使えると、 YYYYMM のように年月部分だけ抽出したいこともあるだろう。 しかしどうやって YYYYMM 部分を抽出すればいいのか。 そこで今回はBigQueryで日付からYYYYMM形式のデータを取得する方法について紹介する。

「GA4のレポートは”ユーザーベース”がメインになった」、、、読者の皆さんがどこかで聞いたことのある、GA4についての特徴だと思います。しかし、その意味を正確に把握している人は少ないように感じています。 筆者としては以下のように考えています。 GA4でユーザースコープのディメンション・指標が強化されたことは事実。 その目的は「フルファネル戦略」に基づいた施策の立案と、施策の効果測定を行うこと。 さて、そんな背景を持つ（と筆者は考える）GA4では、探索配下でのみ「セグメント」が作成できます。 セグメントは「ユーザー」、「セッション」、「イベント」に基づき作成できますが、GA4の性質に照らすと、その中でも「ユーザーセグメント」が重要になってくると思います。 ユーザーセグメントを作成するときに、おそらく多くの読者の皆さんが混乱するのは、オプションとして「いずれかの時点で」（下図）をチェックすると

毎年恒例の年間振り返り記事です。年末の暇つぶし的に見ていただければ！昨年の記事は以下から analytics.hatenadiary.com 【目次】 長いので3段でまとめると 簡単に自己紹介 2021年の主な取り組み 稼働時間 2021年の売上・コスト・利益 今年の振り返り 来年に向けて 過去の振り返り一覧 長いので3段でまとめると １）稼働時間1,696時間（前年比25%減）。売上は前年比1.08倍。コストは前年比1.3倍。純利益率は20%（前年比-11pt）。セミナー登壇や勉強会講師件数は昨年とほぼ一緒（2020年：145回、2021年：137回）。 ２）仕事の内訳自体は大きく変わらず。コンサル関連で54%（前年比-4pt）・セミナーが31%（前年比+5pt）・その他（執筆・会社周りの雑務）が15%（前年比-1pt）。2021年後半からGA4の案件が増えました。 ３）仕事量に波がある

たとえばネストされたイベントパラメータga_session_id（整数型）とpage_location（文字列型）をフラット化するクエリは select user_pseudo_id, event_name, (select p.value.int_value from unnest(event_params) p where p.key = "ga_session_id") ga_session_id, (select p.value.string_value from unnest(event_params) p where p.key = "page_location") page_location from `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*`; だが、この中で動的になるのは以下の部分 (se

Googleアナリティクス4では無償版であっても、BigQueryにエクスポートされたローデータを活用することができます。 このGA4 BigQueryからデータを取得するSQLクエリですが、覚えることが多かったり、煩雑な処理が増えてしまったりで初心者にとっては難しいものです。 本記事では、筆者が見つけた「BigQuery Utils」というライブラリを紹介するとともに、その中で特に「GA4 BigQueryを使うに当たって便利な関数」を紹介したいと思います。 BigQuery Utilsとは？ 「BigQuery Utils」は、Google社がメインで管理しているオープンソース・プログラムの1つです。BigQueryをより便利に使うためのプログラムを、様々な開発者が開発しています。そして世界中の誰もが簡単に利用できるように公開しています。 BigQuery Utils – GitHub

背景 データベースにエンコードされたURLが入っていた場合、そのURLをデコードしなければいけませんよね。 既存の関数で一発！というわけにはいかないURLのデコードの関数をUDF(User-Defined Function)として作ってみました。 URLエンコード、デコードとは まず初めに、URLのエンコードとデコードとはなんぞやということを書いておきます。 URLのエンコードとは、本来URLの中で使えない文字を、使用できる文字の特殊な組み合わせによって置き換えることです。日本語の入っているURLなどもエンコードすることで機能します。 具体的には、 %の後に 0~9,A~Fの16進数2桁で1Biteの文字を表します。日本語などの1Biteで表しきれないものは、その組み合わせで表します。(例：%41がA、%23が#、%E3%81%82 が あ など) デコードとは、エンコードされたURLを元