株式会社WACUL、CTOの包です。 会社のみんなでパンを作ったりカレーを作ったり映画をみたりと楽しい日々を過ごしてます。 ここ最近、Google Cloud Dataflow をいじってみているので、入門したメモとして、整理してみました。 これから触ってみようとする人が最初に読んで、ざっくり概要を理解する助けになればと思います。 ストリーミングやバッチ処理に深い専門知識があるわけではないので、間違ったことを言っていたら教えていただけるとうれしいです。 この記事を読んでわかること Google Cloud Dataflow のだいたいの概要と目指している世界感 だいたいのコードの雰囲気 概要を知った上で次に読むべき参考資料 この記事を読んでもわからないこと Dataflow 上でコードを書いていくときの具体的な知見 運用上のの知見 まずは参考資料 これまでに読んだ Google Cloud
![Google Cloud Dataflow ってなんだ? - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/45aa4750e1659b3a4356d634f47a2a4f3ce57d3f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTIwR29vZ2xlJTIwQ2xvdWQlMjBEYXRhZmxvdyUyMCVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVBQSVFMyU4MiU5MyVFMyU4MSVBMCVFRiVCQyU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9ZjE2MGYzY2QyZmI4ODA0ZjcwMjM5OWJjYzgwOGU2YWE%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0dXR1bWluZyZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NTk2NjZmODQyY2Q5YmU4YWJlMTJlYTRlMmI2MTA0OGM%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3D08063e2eecd3933b96e0d845bd4b21e7)