GCPでStreamなデータパイプライン始めました - Mercari Engineering Blog

こんにちは、はじめまして。メルカリでデータエンジニアをしている、しゅう (@shoe116)です。Mercari Advent Calendar 2018の3日目を担当することになりました。 メルカリではデータの活用が盛んな一方で、実はデータ処理を専門にやるエンジニアが最近まで存在しておらず、そんなこんなで僕がSREチームにデータエンジニア第1号としてjoinしました（実はこのあたりはメルペイのが少し先んじていて、あっちにはすでにデータプラットフォームチームがあって、僕は今彼らと一緒に並んでコードを書いている）。今日は僕らがGoogle Cloud Platform（以下GCP）に作っている、メルカリ（とメルペイ）の新しいログ収集基盤について簡単に紹介しようと思います。 メルカリの既存ログ収集基盤について 「新しいログ収集基盤を紹介しようと思います」と書いた数行後にこの章を持ってくるのは自

[tmatsuu]

ふむ。pub/subへの投げ込みはfluentdではなくpub/sub client libraryだろうか。

[stanaka]

社内の人がGCPで面白そうなData Pipelineを作っていたけどまとまったドキュメントがなかったので、せっかくなのでブログに書いてもらいました。なるほど、参考になる!!

[yubessy]

おー、これは参考になる