embulkでMySQLからBigQueryにデータロードをしてみるチュートリアル - Qiita

ログ基盤をそろそろ整備しないといけなくなりそうな今日この頃で スケーリングを管理しなくては行けないDWHのMySQLからBigQueryに移そう。 と思い調べて見たらembulkが便利そうだったので試してみました。 今回やること Dockerでembulkコンテナを立てる embulkでMySQLのテーブルデータをExtract(抽出)してBigQueryにLoad(ロード)する 参考にした記事 公式 embulk ドキュメント Embulkを使って、RDSのデータをBigQueryへロード 環境 macOS High Siera 事前準備が必要なもの docker 入れていない人は brew cask install docker と打とう docker-compose 入れていない人は brew install docker-compose と打とう google-cloud-sdk