bigquery, embulk, digdagでETL処理をやって - QiitaEMBULKとDIGDAGの話がしたくて仕方がないんですけど、うちの会社でDIGDAGとかEMBULK知ってる人が全くいなくてここに残します。 サーバー → Bigquery → Mysql → SQL Server の流れでデーターを毎日ロードするシステムを作ってます。 SQLServerの後もバッチプロシージャで集計したり色々大変な作業が待ってるんですけど、それはDBAがやってくれるとして… その前のETLだけを自分がやってます。 Bigqueryは普通こんなETLの流れの最後の部分に位置するんですけど、うちの会社のいろんな事情で…BigqueryからRDBMSへのフローを作らなくちゃならなくなったんです。 Bigqueryからのダウンロードはembulkでやってますけど、思ったより大変でした。 最初はembulk-input-bigqueryとembulk-output-mssqlと
