はじめに CYBIRDエンジニア Advent Calendar 2016、今年も16日目担当の@yuichi_komatsuです。 データ分析のエンジニアをしています。 一緒に精進できる仲間も絶賛募集中です! 興味がある方はこちら!! 昨日は@sakamoto_kojiさんの「サブスクリプションのサーバサイド開発で得た知見」でした。 まさに現場で奮闘してきたからこその実用的で貴重なTipsですね! すばらしい!! では本題です。 今回のネタ 去年は「embulkとBigQueryが黄金コンビすぎる話」を書きましたが(こちらはコメントを記載する際に誤って削除してしまいました・・・すみません)、 そこに新戦力である Digdagでワークフローを組むことによってembulk、BigQueryコンビが一段とパワーアップする! という話です。 Digdagとは? 穴掘りゲームではありません。 世界
![DigdagでembulkとBigQueryの黄金コンビがさらに輝く - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/aa61a04358e61ea61ba03f3022c8fd2fa64179f8/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RGlnZGFnJUUzJTgxJUE3ZW1idWxrJUUzJTgxJUE4QmlnUXVlcnklRTMlODElQUUlRTklQkIlODQlRTklODclOTElRTMlODIlQjMlRTMlODMlQjMlRTMlODMlOTMlRTMlODElOEMlRTMlODElOTUlRTMlODIlODklRTMlODElQUIlRTglQkMlOUQlRTMlODElOEYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTRmNTZiYWFmYjE3MTgzMTQ4NTQ4ZTkwYzU5NWEzMjNh%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB5dWljaGlfa29tYXRzdSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZThmZjBkMTA3NjBhYjk0OGE1N2E0MDhlMDdhZjY4ZTI%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Dc57a72f3c0ce21dc86e4be32634b0901)