タグ

ブックマーク / techblog.kazaneya.com (4)

  • 外部組織に分析目的でデータを提供するインフラ設計において考慮すること

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーのうっちー(@hanon52_)です。 datatech-jp Advent Calendar 2023 の25日目の記事です。 記事では、外部組織にデータ分析を委託するためのインフラ設計について、いくつかの論点を紹介します。 この内容は、Google Cloud Next Tokyo’23 におけるゆずたそさんの発表「データ分析の授業における Google Cloud の活用事例」を聞いた後に行ったディスカッションがベースになっています。 対象読者 外部組織にデータ提供を行っている、あるいは検討しているエンジニ

    外部組織に分析目的でデータを提供するインフラ設計において考慮すること
  • ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。 ディメンショナルモデリングを採用する場合、アクセスログやGA4のファクトテーブルは、どのように設計すれば良いのでしょうか。 この疑問について風音屋でディスカッションをしました。 記事では、ディスカッションした内容をご紹介します。 社内ディスカッションの様子 ディスカッションの様子 アドバイザーの皆様の協力もあり、課題を整理し、対応方針を洗い出すことができました。 @tvtg_24さ

    ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか
  • Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”(@int_tt) です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる

    Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
  • Lookerライクな新興BIツールの比較検討

    風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。 Looker の LookML は便利ですよね。LookML はデータモデリングを抽象化してコードによる管理を可能にし、利便性を向上させました。 LookML については Google Cloud の LookMLの紹介 で次のように説明されています。 LookML は SQL データベース内のディメンション、集計、計算、データの関係を記述するための言語です。Looker は LookML で記述されたモデルを使用して、特定のデータベースに対する SQL

    Lookerライクな新興BIツールの比較検討
  • 1