こんにちはデータエンジニアの小林です。 データ分析をしたいときにログデータと事業DBをデータウェアハウスに入れてSQLでJOINをしたり したいと思います。事業DBをBigQueryなどのデータウェアハウスに入れればできるんですが やり方がいっぱいあって悩むと思います。 今日はGCPに最近リリースされたCloud Composerを使ってMySQLにあるデータをBigQueryに同期させる方法を書きます。 対象読者 airflowやworkflow engineなどの概念を理解している方。 Cloud Composerとは? Cloud Composer(以後Composer)はGCP上でボタン1つ押せばairflowというworkflow enginzeをGKEに立ち上げてくれるサービスです。 今回airflowでやること Composerの立ち上げ DBからデータを取得してGCSにjs