EmbulkでMySQLのデータをBigQueryにロードするのに便利なツールの開発 - 電脳徒然日記Embulkを利用してMySQLのデータをBigQueryにロードする際に便利なツールを開発したので紹介です。 「Samidareっていいます！ よろしくお願いします。Embulkの設定作成はお任せください！」 開発経緯 業務でログデータの解析基盤としてBigQueryを使用することになったのですが、本番環境のMySQLのデータもBigQueryで参照できるようにすると色々と夢が膨らむという事に気付きました。 Embulkを利用すると簡単にMySQLのデータをBigQueryにロードできるという情報を入手したので検証したところ、確かにこれは楽チンだという結論に至りました。ただ、問題点としてテーブルの数だけEmbulkの設定ファイルを作成し、テーブル毎にEmbulkを実行しなければならないという点です。 当初でもBigQueryにロードしたいテーブル数は20以上あり、今後対象のテーブルが増え
