Building DistributedLog: High-performance replicated log service

Infrastructure Building DistributedLog: High-performance replicated log service At Twitter, we’ve used replicated logs to address a range of challenging problems in distributed systems. Today we’d like to tell you about DistributedLog, our high-performance replicated log service, and how we used it to address one of these problems. Last year, we provided an in-depth look at Manhattan, Twitter’s di

[tmatsuu]

あとで

[daimatz]

Kafka

[kimutansk]

Bookkeeperの上に分散ログサービス層をラッピングしてストリーム等のユースケースに対応したという話。Kafkaっぽいと思ったら案の定過去のKafkaを検討して自作を選んだ過去がありましたか。

[matsu_chara]

Bookkeeperがベースの分散ログ基盤。Bookkeeperは元はHDFSのトランザクションログバックエンド。柔軟なレプリケーションや高パフォーマンスが長所だけどKafkaみたいな高レベルな概念がないのでそれを足したりした。