fluentdによる通知をRedash/Mackerelに移動させる - KAYAC engineers' blog

ログの監視と通知方法 SREチームの竹田です。Tech Kayac Advent Calendar Migration Track 5日目の記事になります アプリケーションの挙動を監視し、ある閾値を超えたときにだけ通知が欲しい時があります。 ある程度の障害は想定内として頻繁に起きているときにだけエスカレーションさせたい場合などです。 障害頻度の把握と通知を実現するために、アプリケーションからログをfluentdで集約し、fluent-plugin-grepcounterで一定の閾値を超えたら通知がいくような仕組みを作りました。 しかし運用していく中で以下のような問題がでてきました 閾値を変更する際にはfluentdの設定を変更する必要がある 通知のテストが難しい fluentdのバージョンアップに追随しにくい そこで、ログ集約と通知を分離することにしました。 fluentdはログの集約に専

[sfujiwara]

ちょっと昔のなんでもfluentdでやりがち問題

[a-know]

“ログ集約と通知を分離”