タグ

bigqueryに関するstefafafanのブックマーク (4)

  • デジタル庁のデータ分析基盤「sukuna」|デジタル庁

    はじめまして。デジタル庁ファクト&データユニット所属、データエンジニアの長谷川です。 記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト&データユニット」ファクト&データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており(参考:デジタル庁 - 組織情報)、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト&データユニットも

    デジタル庁のデータ分析基盤「sukuna」|デジタル庁
  • スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話 - High Link テックブログ

    こんにちは。株式会社High Link で業務委託として働いている、データエンジニアのikki(@ikki_mz)です。 私たちデータチームでは、「データの民主化」を推進しており、全社員がデータ利活用を行えるように、dbtを用いた分析基盤の整備に取り組んでいます。 tech.high-link.co.jp データの民主化を推進していくにあたり、テーブル・カラムの説明文は非常に重要な役割を占めます。テーブルやカラムが何を意味しているかの説明は、分析をする上ではとても重要です。 しかし、このテーブルやカラムの説明はなかなか厄介で、データベースを開発した開発エンジニアとコミュニケーションをとらないと、説明文を正確に書くことができません。 そこで私たちは、dbt・スプレッドシートを使って、テーブルやカラムの説明文の入力をするという、組織横断的なプロジェクトを実施しました。 背景と課題 dbt de

    スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話 - High Link テックブログ
  • はてなブログとGA4とデータ活用 - Hatena Developer Blog

    こんにちは。はてなブログのサブディレクターをやっている id:AirReader と申します。 さて、2022年3月16日にGoogleよりユニバーサル アナリティクスの終了予定とGoogle アナリティクス 4(以下、GA4)への移行のアナウンスが行われました。GoogleがGA4を推しているのは知っていましたが、これほど早い終了は予想していませんでしたのでとても驚いたのを覚えています。 はてなブログでは、他のブログサービスと比較しても早い段階でブログのGA4に対応いたしました。また、単に対応するだけではなく、はてなブログの解析に最適化したデータを送信する付加価値もつけておりますので、ぜひご利用いただければと思います。 staff.hatenablog.com はてなブログの開発においては、終了の案内以前からGA4を導入して利用しておりました。また、GA4とは別にはてなブログの利用データ

    はてなブログとGA4とデータ活用 - Hatena Developer Blog
  • Firebase AnalyticsをBigQueryで分析したいときに役立つテクニック - Hatena Developer Blog

    こんにちは、id:kouki_danです。はてなではスマートフォンアプリエンジニアとして働いていますが、今回の記事はアプリ利用にともなうアクセス解析がテーマです。 Firebase AnalyticsやGA4を使っている方は多いと思います。無料で大量のイベントを記録できて便利な一方、以前のGoogle Analyticsであるユニバーサルアナリティクスに比べると、分析クエリの柔軟性に難があります。以前のように分析するにはBigQueryが必要になり、SQLでデータを取り出す必要があります。 Firebase AnalyticsをBigQueryで分析するときに、単にSQLを知っているだけではつまずくことが多いと感じています。料金体系の不安や、時系列で分割されたテーブルの扱い、ネストしたカラムの扱いなど、特有の事情がいくつかあります。 このエントリでは、SQLは分かるけれどBigQueryも

    Firebase AnalyticsをBigQueryで分析したいときに役立つテクニック - Hatena Developer Blog
  • 1