Amazon RDSからGCP BigQueryへのデータ転送をDataTrasferServiceを使って実現した話 - Qiita要件 AWSでインフラ構築し運用しているプリケーションのデータを定期的にBigQueryに転送して、BigQuery上でデータ分析をやりたいというニーズがあり、RDSに保存しているデータを転送する機構を構築した。 AWSを利用してるなら、その中でデータ分析もやったらいいじゃないかという意見もあると思うが、ビッグデータの蓄積や解析はBigQueryで実施した方がやりやすいということもあるようで、BigQueryへ転送するニーズが最近は結構ある模様。 今回はGCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceを使って行う 構成図 作成するアプリケーション概要 RDSのデータを定期的にBigQueryへ転送することを実現するアプリケーション RDSの自動で取っているスナップショットデータをS3へ一日一回エクスポート(JST 0:00に実行) https:
