PHP with Apache Kafka - ytake blogApache Foundation ビッグデータ系の処理向けにApache Kafkaを利用し始めました。 これまでもMessage Queueなどにzmq、Redis(PubSub)、ActiveMQ/RabbitMQなどを利用はしていましたが、 スケールのしやすさや、運用面や機能など今後フル活用できそうなためKafkaに、と。 HadoopやHbase、Cassandraといったミドルウェアを扱う機会も増えていているため、 親和性なども当然あります Kafkaどうなのよ 保存機能 Kafkaでは指定した期間、メッセージを保存する機能が用意されています。 これまでもその機能を持つMessage Queueはありましたが、 配信後にアプリケーション側から再配信させるといったことができます。 デフォルトで2週間ほど保持することができるので、 障害発生時に、再度処理を実行させることも、配信した
