Apache Kafka概要確認（その8 Producerプロセス - 夢とガラクタの集積場
こんにちは。ついに設計の大方針の内容が終わり、 個々のプロセスの設計の内容に入っていくようです。 11.Producer Producerプロセスの自動ロードバランシング Kafkaは、ProducerのTCP接続のバランスをとるための専用ロードバランサを使用するために クライアントサイドのロードバランシングをサポートしている。 専用のレイヤ4ロードバランサはBrokerプロセス経由でTCP接続のバランスを取ることによって動作する。 この構成の場合、Producerプロセスが生産したメッセージは全て単一のBrokerプロセスに集約される。 レイヤ4ロードバランサを使う利点は各Producerプロセスは単一のTCPコネクションのみを必要とし、 Zookeeperへの接続を行う必要がないことである。 欠点はロードバランシングがTCP接続レベルで行われており、結果として上手くバランシングが行われ
Linux kernel 3.9 の新機能 SO_REUSEPORT を試してみる - nigakyのブログ
Linux kernel 3.9 のマージウィンドウでは SO_REUSEPORT というソケットオプションがマージされました。 Merge branch 'soreuseport' · c617f39 · torvalds/linux · GitHub これは同一ポートに複数のリスナー（listen ソケット）が bind できるようになるというもので、Webサーバなど単一のポートに多くのコネクションが来るようなワークロードで、複数プロセスでうまく負荷分散ができるようになるそうです。 （これまでだと一人がaccept()してそれぞれの worker に渡すというようなモデルがありましたが、これでは accept() する部分がボトルネックになってしまいがちでした。） BSDでは元々 SO_REUSEPORT オプションはあったようですが、マルチキャスト通信で使うもののようです。Linux
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
