はてなブックマーク

** 本エントリはDistributed computing Advent Calendar 2021の12/1エントリです。 はじめに Apache Kafkaはメッセージブローカーであると同時にストレージの役割も果たす、それまでのMQの世界観とは少し異なった機能性を有しています。またデータのグループとなるTopicの構成やKafkaを利用するクライアントの設定如何によって全く異なるワークロードを同一クラスタ上で処理する事が可能です。 Kafka創世記には、マイクロサービス間の非同期コミュニケーションやData Lakeへのデータ投入、そしてIoTやサーバー/アプリログのように大量のデータを捌く用途で広く活用されました。その後Kafka ConnectやKafka Streamsの出現により、データソース/シンクとの繋がりやストリーム処理、Exactly Once Semanticsのア

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今やはすっかりKubernetesの時代である。 私も『世の中猫も杓子もKubernetesなので自分も乗っかって色々試してみたい。』と思ってはいたんだが、技術自体が潤沢な大規模クラスタ環境を有効活用する為のものなので、ちょっと試してみるにもなかなか難しい。GCPやAWSといったIaaSに一時的にVMを作って動かすというのが入門の主流なようだが、如何せん動かすとお金がかかるので、一度作って一通り触った後はイメージだけ残して二度と触らないというケースが多いんじゃないだろうか。「この話題の機能、うちのKubernetesクラスタで