App Engine + Pub/Sub + Apache Beam(Cloud DataFlow)でログ収集基盤を作成するAppEnginePubSubdataflowGoogleCloud モダンなサーバレスアーキテクチャのログ収集基盤を、App Engine + Pub/Sub + DataFlow + GCS or BigQueryのコンビネーションで作成が可能です。 このデザインは趣味で友達と作っているプロダクトのレコメンドと機械学習を行うためのデータ収集基盤として用いたいのと、会社の業務で関連会社のデータ分析もしているのですが、多くの場合、IT業から始まっていない会社はデータ収集基盤が整っていなく、私と数名でエンジニアリングに近いデータ収集からデータサイエンス領域の分析までEnd-to-Endで完結できる感じにしたいというときに便利です。 おまけで、GoogleのDataFlo
![App Engine + Pub/Sub + Apache Beam(Cloud DataFlow)でログ収集基盤を作成する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/30a32316d4d577adfe00c18d01841955be0e6775/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QXBwJTIwRW5naW5lJTIwJTJCJTIwUHViJTJGU3ViJTIwJTJCJTIwQXBhY2hlJTIwQmVhbSUyOENsb3VkJTIwRGF0YUZsb3clMjklRTMlODElQTclRTMlODMlQUQlRTMlODIlQjAlRTUlOEYlOEUlRTklOUIlODYlRTUlOUYlQkElRTclOUIlQTQlRTMlODIlOTIlRTQlQkQlOUMlRTYlODglOTAlRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTRiMDc4MzdkN2E4Yzc3NDZmYjI5MjE1YjdiZDhlMGM5%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYXJkdHJlZSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDc2ZDU4YmE4Mzg0NmNmMWQ4MzE5MzA2ZjA5NjVhMDg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D4ec5e387f61265463e177c4380be200e)