はてなブックマーク

たとえばネストされたイベントパラメータga_session_id（整数型）とpage_location（文字列型）をフラット化するクエリは select user_pseudo_id, event_name, (select p.value.int_value from unnest(event_params) p where p.key = "ga_session_id") ga_session_id, (select p.value.string_value from unnest(event_params) p where p.key = "page_location") page_location from `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*`; だが、この中で動的になるのは以下の部分 (se

テーブルの場所 GA4のBigQueryエクスポート設定で指定したプロジェクト データセット「analytics_999999999」（「999999999」の部分はプロパティID） テーブル名 前日までのデータ（日付別に）「events_20210101」 「20210101」の部分は日付 今日のデータ、前日未集計分のデータ「events_intraday_20210102」 出力時刻は午前7時ごろ。レポートのタイムゾーンに依存するため、米国のままにしていると夜11時ごろに出力される。GA4ではなくFirebase Analyticsの場合はUTC。タイムゾーン設定がない。 日付でシャーディングされたテーブル GA4のBigQueryエクスポートでは日単位でテーブルが分かれている 前日まで：events_20210101, events_20210102, …, , events_202

Googleは2024年中のChromeのサードパーティcookie廃止に向けて動いている。AppleはすでにITPによってサードパーティcookieはデフォルトで使えなくなっているということで、2024年をもってほぼすべてのウェブブラウザでサードパーティcookieが無効化されることになる。 そんな中さまざまな自称「ポストcookie」「cookieレス」ソリューションが出てきているのだが、それらはどれも完全にサードパーティcookieを代替するわけではなく、これまでサードパーティcookieが担ってきた役割を部分的に違う方法で実現しようとしているものにすぎない。ここではソリューションの種類と、それらがサードパーティcookieのどんな機能を代替するのか紹介する。 サードパーティcookieの役割 cookieの役割にはさまざまなものがあるが、サードパーティcookieは主にドメインをま

BigQuery ML（BQML）では 線形回帰 ロジスティック回帰 k-meansクラスタリング AutoML Tables XGBoost DNN 時系列（ARIMA） が使える。当初は線形回帰とロジスティック回帰だけだったが今では実用的な手法が増えた。何よりもXGBoostが使えるようになったのが大きい。 XGBoostのメリット XGBoostは語弊を恐れずに言うと特に何も考えなくてもそれなりの精度が出る、素人でもそこそこのアウトプットを出せてしまう手法である。これまでの線形回帰やロジスティック回帰は前提条件が扱いが難しい手法だった。 XGBoostがお手軽というのは、 正規化不要 カテゴリ変数と連続量を意識しなくてもいい 欠損値があってもいい つまり特徴量の前処理の面倒な部分がかなり軽減されている。与えられた変数を特に加工しなくても使える。たとえばAutoML Tablesはモデ

GA4の計測の検証はBigQueryエクスポートを使って行うのが普通になる。検証の方法にはいくつかあるのだが、ほかの方法だと欠点がある。 リアルタイムレポートではイベントが発生し、パラメータに値が入ってきているのはわかるが、どのイベントでどのパラメータの値が入っているかまではわからない。DebugViewは有効化しないと使えない。 BigQueryエクスポートを使うとすべてのサイト訪問に対して計測して数分以内には各パケット（イベント）でどのパラメータにどの値が入っているかがわかるし、詳細な検証ができる。これはユニバーサルアナリティクスにはなかったメリットである（GA360を除く）。 GA4のBigQueryデータはパラメータやユーザープロパティがネストされているため、クエリでは毎回それをフラット化する手続きをする必要があり、やや面倒。 検証の目的に合わせて使うクエリがパターン化されるのでこ

プログラムの中でGoogleのサービス（API）を操作するとき、Google認証が必要になる。しかしこれがややこしく、Googleの公式のドキュメントの記述も古かったりサービスの種類によって方法がばらばらだったりして分かりにくい。この記事ではこれを整理して説明する。 プログラムでGoogle認証する場面 具体的なケースを想定するとわかりやすいのだが、 たとえばGoogleアナリティクスからAPIでデータ取得し、そのデータをGoogle Cloud StorageやBigQueryに書き込みする場合、Googleアナリティクスのレポート閲覧権限（特定のビューに紐づいた）とGCPの権限（Google Cloud Storageの書き込み権限など）が必要になる。その権限を持ったGoogleアカウントで認証をすることになる。 この認証方法には大きく2通りの方法がある。 2通りの認証方法 サービスア

Googleアナリティクス4プロパティが登場し、誰でもBigQueryにログを出力できるようになった。ログ分析を始める環境は揃ったわけだが、ログ分析のノウハウはあまり世に出ていない。SQLを使ってこれらを分析する方法を少し紹介する。どんな高度なログ分析をするにしても、これが基本となる。 ウェブ分析の指標 ウェブ分析の基本は ページビュー数 セッション数 人数 のカウントである。複雑な分析も、結局カウントしているのはこの3つの指標に集約されることが多い。Eコマースになると購入金額の合計なども入ってくることはある。 そしてこれに「○○した」という条件が付いて イベント○○が発生した回数 ○○したページビュー数 パラメータ△△の値が□□だったイベント○○が発生した回数（ページ□□のページビュー数） ○○したセッション数 ○○した人数 をひたすらカウントする。たとえば 資料ダウンロードボタンをクリ

Googleアナリティクス4は当初コンバージョン設定するためにはコンバージョン対象ページでタグをカスタマイズする必要があったのだが、アップデートでタグのカスタマイズが不要になった。しかしユニバーサルアナリティクスのようにコンバージョン設定画面でURLを指定できるわけではなく、少し回りくどい設定が必要になる。この記事ではその方法を説明する。 機能のアップデート 既存のイベントから、イベント名やイベントパラメータの条件に基づいて新たなイベントを生成する機能が追加された。 これは大変便利な機能で、これまでイベントの再定義をしようと思ったらSDK（JavaScriptのタグやアプリのSDK）の入れ替えが必要だったのだが、それをしなくても管理画面の設定だけである程度自由に定義できるようになった。 既定のイベントだけでなくカスタムしたイベントごとのカウントがダッシュボードで把握できるようになったし、コ

マニュアルには書いていないGTMとGoogleアナリティクスの高度な使い方。とりあえず設定しておくと便利な変数やトリガーの使い方に加え、データレイヤーを徹底的に使いこなす。さらには計測だけでなく検証の手間を大幅に省くタグアシスタントの裏技を紹介する。最後にGTMを使ったGoogleアナリティクスの高度なcustomTaskや推奨カスタムディメンションも触れる。 GTM設定の黒魔術 便利な変数 ページビューID ページビュー固有のID 一度ページを読み込んでから、次に読み込むまでの間で保持されるID そのIDをさまざまなツールに送ればそれをキーにデータ連携できる。 ツールA,B,Cの間でIDを連携する場合、 ツールAのIDを取得→Bに送る ツールAのIDを取得→Cに送る ツールBのIDを取得→Cに送る （CのIDを取得→Aに送る？） （CのIDを取得→Bに送る？） など、ツール数が増えると複

Chromeが2年以内にサードパーティcookieをブロックすると正式に発表しました。 https://blog.chromium.org/2020/01/building-more-private-web-path-towards.html いろいろなことが言われていますが、具体的に何が起こるのか、混同しやすいところを含めて初心者でもわかるようにまとめました（このサイトでは珍しい初心者向けの記事です）。 cookieを取り囲むブラウザ環境の変化のおさらい これまではiOS/SafariがITPの取り組みの中でトラッキング目的のサードパーティcookie（※）をブロックしてきましたが、これでSafariとChromeの両方でトラッキング目的のサードパーティcookieをブロックすることになります。スマートフォン、デスクトップ、タブレットで大半のシェアが適用対象になるわけです。 なおFire

Google Cloud Functions / Cloud Functions for Firebaseの微妙な使い勝手 Google Cloud FunctionsとCloud Functions for Firebaseの関係 Cloud Functions for FirebaseはGoogle Cloud Functionsを簡素化してFirebaseで使えるようにしたもの Node.jsのバージョン8のみ Google Cloud Functionsは独自ドメインが使えないが、Cloud Functions for Firebaseでは使える（独自ドメインSSLのWeb APIが可能）。 複数のFunctionsを使う構造になっていない（index.jsのみ）→工夫が必要 管理画面からのデプロイができない Cloud Functions for Firebaseで登録した関数は

無料でPythonの実行環境を使わせてもらえるGoogle Colaboratory。しかもGPUと12GBのメモリ、350GBのディスクまで使える環境であり、手元のPCよりハイスペックな人も多いだろう。 RユーザにとってはPythonだけでなくRでも使えたらいいのにと思うところである。そこで、この記事ではこの環境でRを使う方法を解説する。 Rを使う4つの方法 実はGoogle ColaboratoryのインスタンスにはRの環境（RのバイナリとJupyter Kernel）がインストールされており、わずかな手順で使えるようになるのである。 参考までにインストールされているKernelの一覧はマジックコマンドから確認できる。 !jupyter kernelspec list Available kernels: ir /usr/local/share/jupyter/kernels/ir p

リモートデスクトップで接続される専用のWindowsマシンを用意するにあたり、VPN接続は必須である。VPNにもさまざまなプロトコルがあるが、現在サーバ・クライアントともにOpenVPNが最もインストールしやすい。 OpenVPNクライアントをWindows10にインストールし、そこから常時VPNサーバに接続する形でプライベートネットワークを作り、外の端末からセキュアにWindows機にリモートデスクトップ接続する。Windows機をVPNサーバにするのではない。このやり方、意外と難しいので説明する。 OpenVPNクライアントのインストール vpnux Clientではなく公式クライアントをインストールする。 ユーザモードとサービスモード ユーザモード OpenVPNクライアントにはユーザモードとサービスモードがある ユーザモードは各ユーザがOpenVPNアプリケーション（openvpn

Googleアナリティクス4ではサイト訪問の行動ログをBigQueryに出力できるようになった。 従来のGoogleアナリティクス（ユニバーサルアナリティクス）ではGoogleアナリティクス360（GA360）を利用し、そのうえでGoogleに申請しないとログデータをBigQueryに出力することはできなかった。そのためコスト面での高いハードルがあったのだが、Googleアナリティクス4ではGoogle Cloud Platform（GCP）の従量課金コストだけでログをBigQueryに出力できるようになったのである。以前はこの設定で直接Firebaseの管理画面からダミーアプリを作る手順が必要だったため大変難しかったが、現在ではアナリティクスの管理画面だけでできるようになった。 Googleアナリティクス4というのはもともとアプリ用に存在していたFirebaseの計測機能（Google

※クエリ文字列はある場合とない場合がある ※ハッシュはない場合が多い プロトコル（protocol） 「http://」か「https://」のような先頭の「://」まで。通信の方式を表す。 http://www.example.com/audio/list.php?page=2&sort_by=price https://www.example.com/audio/list.php?page=2&sort_by=price いつも先頭につけている http:// や https:// の文字列がプロトコルである。インターネット上ではwebのみならずメールやFTPなど、さまざまな種類の通信が行われている。その中で通信の種類を特定するのがプロトコルなのである。webは http https のいずれか2種類。「http://」は暗号化されていない通信で、「https://」は暗号化された通信

ITPの仕様 次々と新しいバージョンがリリースされるITP。微妙にアップデートされ、仕様がわかりにくくなっているので現時点で最新のものを解説する。 ITPの目的と概要 われわれウェブサイト運用者は cookieやローカルストレージなどを使ってブラウザにドメインのデータを保持し、 それらのデータを必要に応じてツール間で連携する ことによって行動計測やコンテンツの出し分けなどのマーケティング活動を行っている。ITPはウェブサイト訪問者のプライバシー保持のためにそれを制限する仕組みである。具体的に何をやっているのかざっくりまとめると、 この3つのケースにおいて cookieなどを使ったデータ保持が短期間しかできなくなる（期間の長さはケースごとそれぞれ異なる） リファラが使い物にならなくなる 可能性があるということである。その結果 コンバージョントラッキングができない リマーケティング広告が配信で

Googleアナリティクスで収集しているデータ（メジャメントプロトコル）をBigQueryに送り、集計・可視化できるようにする。無料版のGAにも対応し、しかもサーバレスでシンプルに実装できる。 本来BigQueryを使ったウェブ行動の詳細分析はGA360を使うべきなのだが、限りなく低コストでこんなことができるという参考程度で紹介する。 通常無料版のGoogleアナリティクスではできないログベースの行動分析をするのに使ったり、有料版であったとしてもGAはどのようなトラフィックを除外して集計しているのか、Googlebotなどのクローラがどんな動きをしているのかなどを検証するのに使うといいかもしれない。 原理はGoogleアナリティクスのJavaScriptがGoogleの計測サーバに送っているパケットを自前のサーバに送ってログ化するというシンプルなものである。 従来はデータ収集用のサーバを構

Rのおすすめパッケージをアップデートしてまとめた。定番の分析手法をはじめ、可視化やデータ処理に便利なものなど、幅広く紹介した。中にはマストというものもあるし、意外と知られていないがインストールしておくと便利なものまで、使い方の例も挙げて説明している。 ミドルウェア的なレイヤーのライブラリ（must） curl ファイルをwebからダウンロードするときに使う。 データファイルやパッケージのダウンロードが発生する処理で内部的に使われるライブラリで、他のパッケージのインストールの際に同時にインストールされることが多く、意識されることは少ないパッケージ。たまに依存関係の問題でも解決されずに未インストールの場合があるので、明示的にインストールする必要がある。 read.csv('https://...') などのために必要。 devtools GitHubからのインストールなど。ほとんどがGitHu

XGBoostは機械学習手法として 比較的簡単に扱える 目的変数や損失関数の自由度が高い（欠損値を扱える） 高精度の予測をできることが多い ドキュメントが豊富（日本語の記事も多い） ということで大変便利。 ただチューニングとアウトプットの解釈については解説が少ないので、このあたりについて説明する。 XGBoostとは？ 勾配ブースティングのとある実装ライブラリ（C++で書かれた）。イメージ的にはランダムフォレストを賢くした（誤答への学習を重視する）アルゴリズム。RとPythonでライブラリがあるが、ここではRライブラリとしてのXGBoostについて説明する。 XGBoostのアルゴリズム自体の詳細な説明はこれらを参照。 https://zaburo-ch.github.io/post/xgboost/ https://tjo.hatenablog.com/entry/2015/05/15/