執筆者: 秋葉原ラボ sitotkfm&rshtykh はじめに 秋葉原ラボでは大規模データ処理基盤の研究・開発・運用を行っており、データの転送や解析システムのHubとしてPubsubシステムの重要性が高まっている。 Pubsubメッセージングモデルは、非同期メッセージングパラダイムの一種であり、メッセージの送信者(出版側)が特定の受信者(購読側)を想定せずにメッセージを送るようプログラムされたものである(wikipedia)。Pubsubモデルを用いることでシステムアーキテクチャにおいてコンポーネント同士を疎結合にし、高スケーラビリティを実現するメッセージングパターンである。このモデルに基づいたソリューションは既に複数存在するが、今回は特に注目されているApache KafkaやGoogle Cloud Pub/Subを紹介し、システム面で重要と思われる機能を比較する。 Kafkaは、
![Apache Kafka & Google Cloud Pub/Sub 主要機能の比較](https://cdn-ak-scissors.b.st-hatena.com/image/square/6be14d875df6d7ddf0d275a3b146b9a55faa217c/height=288;version=1;width=512/https%3A%2F%2Fdevelopers.cyberagent.co.jp%2Fblog%2Fwp-content%2Fuploads%2F2016%2F11%2Fkafka_and_cps.jpg)