概要こんにちは! SREユニットの栗山(@sheepland)です。 スタディストでは、DBのデータをBigQueryに転送するデータELT基盤が存在します。 そのデータELT基盤をAWSの「Amazon S3 への DB スナップショットデータのエクスポート」機能 と GCPの「BigQuery Data Transfer Service」および「スケジュールクエリ」を組み合わせて新しく作り直しました。 マネージドサービスで構成されているため運用が非常に楽で、転送速度も速く、とてもQOLがあがったので今回紹介したいと思います。 Photo by David Becker on Unsplash旧データETL基盤の紹介旧データETL基盤はEC2上でDigDagとEmbulkを動かし、DBのデータをBigQueryに転送していました。 以下が日次の処理の流れです。 RDSの自動スナップショッ