はてなブックマーク

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu セキュリティグループ と ネットワークACL の違い セキュリティグループは「インスタンス単位で設定するファイアウォール機能」で、 ネットワークACLは「サブネット単位で全インスタンスに適用するファイアウォール機能」です。 どちらもVPC内のネットワーク転送を細かく制御するために使われます。 セキュリティグループ EC2インスタンスなどに適用するファイアウォール機能で、主にVPCリソースのトラフィックを制御するのに使われます。 複数インスタンスにも適用でき、送信元にはIPアドレスの範囲やセキュリティグループIDを指定することも可能です。 ※設定は即時に反映されま

こんにちは、エクスチュアの権泳東(コン・ヨンドン)です。 普段Windowsを使ってないのですが、Web解析の仕事をしてるとやはりEdgeブラウザやIE11での動作確認が必要な時があります。 こういう時、会社にいれば検証用のWindows機を使えますがリモートワーク中だと困ります。 しかし、マイクロソフトはデベロッパー向けに90日間無料で使えるWindows仮想マシンイメージを公開してます。 もちろんEdgeブラウザもIE11もインストールされてます。 実際に使ってみましょう。 Windows仮想マシンを入手 今回はOracleが無償で公開しているVirtualBoxという仮想化ソフトを利用するので、VirtualBox上で動作するWindows仮想マシンのイメージファイルをダウンロードします。 Virtual Machines – Microsoft Edge Developer Cho

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 Google Analytics 4 (以下GA4)がリリースされましたね。 というわけでGA4のBigQueryエクスポート機能を使って早速データを抽出してみましょう！ 以前、GA360+BigQueryで私がよく使う基本的なSQL例を紹介しましたが、今回はそれのGA4バージョンです。 1. ページビュー数 GA4の日別ページビューを出してみます。 タイムゾーンを任意で変更したいので、event_dateカラムではなくevent_timestampを「Asia/Tokyo」にして使ってます。 そ

こんにちは、エクスチュアの権泳東(權泳東/コン・ヨンドン)です。 Google Tag Managerのサーバーサイド版がベータリリースされたので、早速私個人が備忘メモ代わりに書いてるブログに導入しました。 二代目俺のメモ 以下、インストール手順を説明します。 1. 準備するもの Server-side tagging  |  Google Tag Manager – Server-Side Server-side GTMはGoogle Cloud Platform (GCP) にデプロイして使います。 具体的にはGCPのAppEngine (GAE) というPaaSを使います。 また、GAEはカスタムドメイン機能を使って独自ドメインのサブドメインにAレコードを割り当てて使う事が出来ます。 ぜひ独自ドメインも用意して使ってください。 2. GTMコンテナを作る GTMにログインして、新しい

collect?v=1というお馴染みの文字列を含むあのビーコンURL、ペイロードとか呼んだりもしますけどアレが[protoPayload.resource]カラムに記録されてます。 ペイロード以外にも: protoPayload.ip (IPアドレス) protoPayload.userAgent (ユーザーエージェント) timestamp (タイムスタンプ) などがログに残ってます。 2.ビーコンログを分解 ビーコンのペイロードそのままだと全く何も分からないので、SQLで分解して別テーブルを作ります。 分解用SQLが長ったらしいけどキニシナイ！ CREATE TEMP FUNCTION decode(s string) returns string language js as """ var ret = ''; try { ret = decodeURIComponent(s); }

こんにちは、エクスチュアの權泳東(コン・ヨンドン)です。 ほんの出来心で「オープンソースBIってどんなものがあるのか？」と物色してたところ、評判が良い「Metabase」を知ったので試して見ました。 私は主にGoogle BigQueryを使ってますが、MetabaseはBigQueryも簡単に接続できます。 そして何よりもAGPLライセンスで無償利用可能なオープンソースBIというのが素晴らしい。 使い始めて30分で「めっちゃ簡単で使いやすい！俺はこれでいいや！」という結論が出ました。※私の主観です。 さて、そんなMetabaseの何が良かったのかを含めて導入セットアップから操作まで簡単に紹介します。 ダウンロード 下記のページから「Dockerイメージ」や「JARファイル形式(Java Archive)」でダウンロード出来ます。 https://www.metabase.com/star

こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 新型コロナウイルスによる外出自粛の中、せっかくなのでこの時間を使ってLinuxのコマンドラインを勉強しましょう。 コマンドラインでササっとJSONファイルをCSVファイルに変換出来るとイザという時に役立ちます。(弊社調べ) まずは対象となるデータですが、Linuxのコンソールからコロナウイルスの状況を確認する方法があるのでこれを使います。 curlというCLIのHTTPクライアントを使います。 Coronavirus Tracker Coronavirs Trackerは、世界中のCOVID-19の感染状況の数字をテキストで表示してくれるサービスです。 $ curl https://corona-stats.online/ このように表示されます。 なお、日本だけに絞りたい場合はこうです。 国名で絞れます。 $ curl h

パッと見でevent_paramsカラムがネストされた縦方向のデータで構成されている事がわかります。 スキーマ仕様はこちらにに掲載されているとおりです。 Firebaseヘルプ > BigQuery Export のスキーマ Firebase/Apps+Webプロパティは「イベント」毎に一行のデータで構成されてます。 その各イベントに含まれる複数のプロパティ(GoogleAnalyticsで言うディメンション)がネストされています。 BigQueryのデータをフラットにする ネストされたJSON型のスキーマだとBI･ダッシュボードツールと連携する時に扱いづらいんですよね。 というわけで、私はこのネストされたデータを横方向に展開して、フラットなヒットログに直してからBIツールに接続させてます。 そして出来上がったクエリがこちらです。 SELECT event_date, event_time

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回はGCEのUbuntu VMにスワップファイルを作成する方法についてです。 GCEでLinux仮想マシンを作成すると、UbuntuだろうがCentOSだろうがスワップファイルがない状態で仮想マシンが作成されます。 別にswapがなくても困らないくらい潤沢なメモリを積んでれば問題はないのですが、f1-microタイプのインスタンスで、ちょっとメモリを使う処理をしたりすると、あっという間にメモリ不足になります。 というわけで、f1-microじゃなくてもswap作っておきたい場合は下記の手順で作成

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回は、私がよくBigQueryで使ってるGoogle Analytics 360用のSQL例を紹介します。 以前書いたAdobe Analytics編のGA360版です。 前提条件 当然ながらGA360のデータをBigQueryにエクスポートしてる事。 ここでは、パブリックデータセットの bigquery-public-data:google_analytics_sample を使って説明します。 1. ページビュー数 日別で出します。 hits.type = ‘PAGE’ に絞るとページビュー

Lookerとは、「エンジニア向けBI」とでも言えるBIツール。 LookMLというマークアップ記述を使ってディメンションと指標を定義した上でビジュアライズを行うという、とても渋いBIツールです。 「マウスで管理画面ポチポチ系」の作業が苦手で大嫌いな私にとっては、まさにGame Changerというか「これだよこれ」というべきBIです。 「オラBigQuery大好きエンジニアだけど可視化はお絵書きセンスねーからよく分かんねーづら」と日和見してる場合ではありません。 そんなLookerって何よ？という方のためにちょっとだけ特徴を紹介します。 1. Lookerにはデータストレージがない なんと、Lookerはストレージ領域を持っていない。 じゃ、どうするか？ すでに構築されてる自前のDWH/DBに接続して、そこからデータを持ってきます。 弊社はBigQuery大好き人間が集まっているので、常

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回はGCPの課金額をslackに自動的に書き込むプログラムを作って見ます。 GCPは低コストでクラウド環境を構築できるのでとても良いのですが、うっかりテスト用の設定を作ったまま放置してしまって課金されてたり、なんてことありませんか？ 毎日slackに今月の課金額をポストしてくれると、少しはダメージが少なくなるかも知れません。 やることは以下のとおりです。 1. GCPのBillingレポートをBigQueryにエクスポートする 2. BigQueryのBilligテーブルにクエリを投げて、レポー

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu エクスチュア渡部です。今回はLODブログの第３弾です。 INCLUDEと、INCLUDEとFIXEDとの違いについて説明します。 これまでも説明した通り、LODの基本は「データソースでは実現できない粒度での集計を実現すること」です。 この説明がピンとこない場合、下記記事を読んでください。 ・Tableau：分かりやすいLOD – 概要編 では、INCLUDEはどのようにして任意の粒度での集計を実現するのでしょうか？ 実はINCLUDEはある大きな１点を除いてFIXEDと基本的に考え方が一緒です。その違いは最後に説明するので、 それまではあえて前回のFIXED説明

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの渡部です。 LODブログ第二弾です。今回は、FIXED関数について説明します。 前回のブログの続きになります。 お読みで無い方は下記を見ることによって理解が深まります。 Tableau-分かりやすいLOD 概要編 前回のブログでは、通常の集計関数は「データソースの行レベル」でしか集計を行えないことを説明しました。 対して集計の粒度を自由に変えられるのがLOD計算でしたね。では、FIXEDはどのような仕組みで集計の粒度を変えられるのでしょうか？ ・通常の集計関数と、FIXED関数の集計の違い 実は、「通常の集計関数を使った集計」と「FIX

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu この情報は2018年4月当時の情報です。 こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 以前このブログで Google Tag Manager上でGoogle AnalyticsのclientIDを取得する という記事を書きました。 しかし内容が古く、今は customTask という機能を使った方が早いので紹介します。 参考にしたのは、GTMといえばこの方。Simo Ahava氏のブログです。 #GTMTips: Use customTask To Access Tracker Values In Google Tag Manager 1.

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu 2018/4/20追記： この記事の内容は古いので、下記の新しい記事を見て下さい。 Google Tag Manager上でGoogle AnalyticsのclientIDを取得する：その2 こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今日はGoogle Tag Managerの話題です。 Google Tag Managerの中のGoogle AnalyticsでclientID(cid)をカスタムディメンションで取得しようとしてちょっと手間取ったので、そのメモ。 GAのcidが生成されるタイミングが、GAのページビュータグが発火してG