Kafka Java Consumer Client小技 - 烏滑稽
Distributed computing Advent Calendar 2017の12/16分の投稿です。 qiita.com clientコードでよく使われるテクニック、というわけではなく 自分が勝手によく使っている小技の紹介です。 今回扱うKafka Java Clientのバージョンは1.0ではなく残念ながら0.10.1.1です・・・今キャッチアップしてないんですよね。 他にいい小技や改善案などあればコメントで教えてください。 RPS調整（EPS） サンプリング RPS調整とサンプリングの合わせ技 トピック毎の流量調整（おまけ） 考え方 処理スレッドを増やす オフセット強制最新 batch consumer（startとstop） consumerの割当はconsumer groupの機能を使い、それ以降は使わずに固定する おわり RPS調整（EPS） Kafkaは一般に流量に強
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
