Apache Kafkaのすゝめ Part 1 | AI tech studioアドテクスタジオでは、Apache Kafkaを利用するケースがここ最近増えています。 Apache Kafkaは、2011/01/11 LinkedInから公開されたOpenSourceで分散コミットログを通してpub/sub型を実装 オンライン/オフライン処理に対応しzookeeperを利用したスケールアウトを備えたオープンソースプロジェクトです。 これまではキュー処理といえばActiveMQ等を利用する事が多かったのですが 冗長構成が組め、スケール可能で1台あたりのパフォーマンスが良く、Sparkとの連携を考えた結果、Apache Kafkaの採用を進めました。 必要な構成は以下です（Zookeeperは最小構成が3台となります。） 以前のバージョンではProducerもConsumerもZookeeperにアクセスする形をとっていましたが 現行のバージョンではConsumerはBr
リアクティブ・アーキテクチャ ～大規模サービスにおける必要性と課題〜 #devsumi
