KafkaにはLog Compactionという機能があります。バージョン0.8.1から導入されました。 このLog Compaction、かなりとっつきづらい機能なんじゃないかと思っています。Kafkaドキュメントのこのセクションhttps://kafka.apache.org/documentation/#compaction、ついつい読み飛ばしてしまうんじゃないでしょうか。 知らなくても普通のユースケースなら使わなそうですし。 しかしこいつ、ユースケースによっては使ってみるとなかなか便利なシロモノです。 細かい挙動とかも公式ドキュメントを確認しつつ自分の理解を書いていこうかと思います。*1 Log Compactionとはなにか 状態を持つデータ 実際のシステムで考える compactモード compactionはいつどうやって起こる?どのデータが対象になる? Log Compact