はじめまして。山根と申します。データ基盤の運用保守をしています。 今回は TVerメンバーによるアドベントカレンダーの8日目の記事になります。 タイトル通り、Amazon Aurora MySQLのデータを BigQueryに転送している話を紹介したいと思います。 背景 弊社では、TVerで公開するコンテンツをAurora MySQL(AWS)上で管理しています。 一方で、視聴データなどのデータ分析基盤は BigQuery(GCP)上に構築されており、 コンテンツのメタデータを利用するためにはMySQLのデータをBigQueryに取り込む必要があります。 今回は分析用途のため、1日に数回MySQL snapshotをとり、BigQueryに転送するシステムを構築しています。 考慮事項 考慮事項は以下の通りです。 運用コストを低くかつ不要な情報は取り込まないことを意識しました。 できるだけ分