Dataflow でストリーミングの重複除去を試したい - Qiita

はじめに アドベントカレンダー初参戦となります。 記念すべき初投稿が締切ギリギリアウトとなってしまいましたが、一生懸命書きましたのでご勘弁ください。 さて、Dataflow といえば Pub/Sub の at-least-once なメッセージの重複除去で有名ですよね。 重複除去の実装って実際はどんな感じになるのかが気になったので、公式のチュートリアル に沿ってストリーミング処理を実装してみました。 ※ ネタバレで恐縮ですが Pub/Sub 起因の重複除去は Dataflow が自動で行ってくれる らしく、今回は意識する必要はありませんでした。 Dataflow とは Dataflow はフルマネージドなデータ処理サービスです。 Apache Beam のランナーとして働きます。 Apache Beam は OSS のデータパイプライン用のプログラミングモデルで、バッチデータ処理にもストリ