対応不要なアラート発生を減らす Mackerel監視改善の実践 - Mackerel ブログ #mackerelio

この記事では、Mackerel の不要なアラートを減らすために実施してきた監視設定の改善内容を紹介します。監視ルールへの変更内容、サービスの状態監視など、Mackerel SRE チームで行った実践的な改善事例を Terraform での設定を交えて詳しく解説します。 こんにちは。SRE の id:heleeen です。 監視は一度設定して終わりではなく、運用しながらより適切な状態に近づけていく必要があります。特に、アラートが発生したときに「このアラートは本当に発生する必要があったのか」「オオカミ少年になっていないか」と見直していくことが重要です。 Mackerel SRE チームでは、アラート当番が当番期間中のアラートをすべて確認し、アラートが発生したが対応する必要がなかった監視設定を改善する役割も担っています。そして、その変更内容は PWG（Performance Working Gr