新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
kafka-fluentd-consumerのConsumerLagが大きくなっていたので調べてみた - wyukawa's diary
うちの環境ではKafka -> kafka-fluentd-consumer -> Fluentd -> Elatsticsearchという経路でログをElatsticsearchに送ってKibanaで可視化しています。 ところがKibanaで直近のログが見れないという問い合わせがあり調査していたら、kafka-fluentd-consumerのConsumerLagが大きい状態で、要はconsumerで詰まっていた。 jmx, prometheus経由でConsumerLagはモニタリングしていたのですが、あんまりちゃんと見てなくて気付けば定期的にlagが大きくなっている状態でした。 まあほっといても解消してた気もしますが、調査しました。 hasNextのConsumerTimeoutExceptionの部分の詳細を見たほうがいいのではという話になりログを仕込んで再起動しました。他にもロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
