Aurora MySQLとRedshiftのゼロETL統合を本番導入しようとしてダメだった - クラウドワークス エンジニアブログ

Aurora MySQLとRedshiftのゼロETL統合を本番導入しようとしてダメだった この記事は クラウドワークスグループ Advent Calendar 2024 シリーズ2 の7日目の記事です。 クラウドワークスのSREチームに所属しています@ciloholicです。 今年の7月末に Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました という記事を投稿しました。その記事の最後で本番導入に向けて意気込んでいたのですが、本番導入を断念することになった経緯について話していきます。 検証記事の要約 Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました クラウドワークスでは、MySQLのテーブルをDMS経由でRedshiftにニアリアルタイムで同期し、データ分析を行っていました。しかし、DMSでレコード件数やデータサ