データ基盤をdbtとLookerで刷新した話 - OLTA TECH BLOG

こんにちは。柴田です。 OLTAでデータ基盤の刷新を行ったので背景など共有したいと思います。 背景 これまでOLTAのデータ基盤は比較的シンプルな構成で運用しており、サービス初期においては特に問題なく機能していました。しかし、サービスの成長に伴い、データ量や求められるデータの質が高度化するにつれて、以下のような課題が顕在化してきました。 複雑化するSQL 重要な経営指標を算出するために、高度なSQLの知識が必要となり、担当者しか理解できないような職人芸的なクエリが増えていました。 集計の属人化 簡単な指標の集計でさえ、都度担当者が定義を確認する必要があり、非効率でした。 依頼の遅延と不整合 データ集計の依頼に時間がかかり、手作業によるミスも発生しやすく、定義の不統一も散見されるようになっていました。 これらの課題が積み重なり、アナリストは本来の分析業務に集中できず疲弊し、ビジネスサイドのメ