DigdagとEmbulkで行うDB同期の管理 - LIVESENSE Data Analytics Blog

データプラットフォームグループの松原です。 弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 今回はLAで行っている分析のためにサービス側のデータ(テーブル)を、Redshiftへ同期を行う処理について紹介します。 概要 LAではデータウェアハウスとしてRedshiftを運用しており、社内から比較的自由に利用できる様にしています。 LAで取り扱っているデータはアクセスログが中心ですが、分析を行う利用者からはLA由来のデータ以外にも自分たちのサービスのデータを用いて分析を行いたい、という要望がよく出てきます。 サービスのデータには個人情報を含むものも少なくありませんが、分析基盤として社内にデータを解放するためにはそのような情報は削る必要があります。 そこで個人情報をマスキングしたサービス側データを利用できるよう、Redshif

[somemo]

“Airflowで統一するより用途によりツールを使い分けた方が運用が容易なのでは、という結論になりました。”