取引先で、Cloud SQL(Postgres)からBigQueryにアプリケーションのデータを連携させたいという話があって、いろいろ調べたのでまとめる。 最初はEmbulkとか使えばいいんかなと思ったけど、基本サーバーサイドはGAEしか使ってない状況でEmbulkをどこで動かそうか…って感じだったので、GCPのマネージドサービスであるCloud Dataflowを活用することにした。*1 アプリケーションの環境は以下のような感じ。 スマホアプリを提供している Firebase Auth / Analyticsを使用している Analyticsの情報はBigQueryに連携させている APIサーバはGAE上にたっている DBはCloud SQL(Postgres)を使用している GCPのデータ処理関連のマネージドサービスについて GCP上でデータをBigQueryに投入しようと思ってグーグ
![Cloud Dataflow で Cloud SQLからBigQueryにサーバーレスにデータ連携する - suusan2号の戯れ](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9b87aa64a6ca08d1b8ff6a4f8b57aeb54aa905d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fs%2Fsuzan2go%2F20190704%2F20190704152555.png)