エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
千のデータ基盤の紹介 - SEN PRODUCT BLOG
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
千のデータ基盤の紹介 - SEN PRODUCT BLOG
はじめに 千では今まで何度かデータ基盤の構築に取り組んできたのですが、データエンジニアやアナリスト... はじめに 千では今まで何度かデータ基盤の構築に取り組んできたのですが、データエンジニアやアナリストの不在によりデータ利活用が十分にできていない状態でした。そこから2024年にデータエンジニアを採用し本格的なデータ基盤の構築に取り組んでいます。今回は現在構築中のデータ基盤について紹介させていただき、今後やっていきたいことをお話させていただきます。 データ基盤の全体構成 概略図はこちらになります。 各種データの取得とS3への書き出し 各プロダクトのデータベースやCRMからS3へのファイル書き出しにはAWS Glueを使用しています。 データベースからSnowflakeへのデータ取り込みについてはSnowpipeなどを使用してデータを取り込みたかったのですが、社内の事情により直近では難しいと判断しAWS Glueを使用しています。 AWS Glueでは各データソースからジョブでデータを取得・加工

