医療データ基盤を Amazon Athena から Redshift Serverless に移行した話 - JMDC TECH BLOG

はじめに こんにちは！JMDC、データウェアハウス開発部の金です。 私たちのチームは、多数のお客様から受領した膨大な生データを、分析可能なビッグデータへ変換するETL基盤を開発・運用しています。 対象は1,000を超えるお客様。リリースから数年でお客様数・データ量ともに倍以上に伸び、事業の成長がそのままデータ量の増加として基盤にのしかかってきました。そして次に見据えているのは数千規模です。つまり「今動いている」だけでは足りず、この先さらに数倍のデータ量を捌けるアーキテクチャが必要でした。 そこで私たちは、クエリ実行エンジンをAmazon AthenaからAmazon Redshift Serverlessへ全面移行しました。約半年のPoCを含め、1年半をかけて本番リリースまで完走しています。 本記事では、その技術的な意思決定を、実測にもとづいて振り返ります。 はじめに 1. なぜAthen