Kafkaのパーティンション数を決める時に考慮すること - The Dabsong Conshirtoekafkaのパーティション数を選択する際に考慮する点について、kafka作者のブログにまとめられていました。 blog.confluent.io 自身の理解のために、ちょっとまとめてみようと思います。 ※この記事はあくまでも個人的なまとめですので、作者の原文に一度目を通すことをオススメします。 概要 考慮する点は、ざっくりまとめると以下があります。 必要とされるスループット 将来的に必要となりそうなパーティション数 ファイルディスクリプタの数 ノード障害からの復旧時間 レプリケーションに伴う負荷 Producerのバッファメモリ 必要とされるスループット パーティションを追加することは、メッセージのproducerとconsumerの並列化につながるのでスループット向上が期待できます。 1パーティションあたりのproducerのスループットがp 1パーティションあたりのconsumerのス
