AWS ECS監視のオオカミ少年化を防ぐために考えたちょっとしたこと - Classi開発者ブログ

こんにちは。エンジニアの遠藤です。 Classiでは、Datadogを使ってシステムの各種メトリクスをモニタリングし、異常があればSlackにアラート通知を飛ばすように設定しています。 今回は、AWSのECSのタスク数に関するアラート通知の設定を変更する機会があり、そのとき何を考え、どう変更したのかという日々の運用の様子を紹介したいと思います。 もともとの設定 あらゆるECSのサービス（以後、サービス）のタスク数について、 aws.ecs.service.desired - aws.ecs.service.running が5以上になればアラート通知を飛ばすように設定していました。 もともとのDatadogの設定 理由としては、例えばサービスAについては desired task が 10 で設定されていて、サービスBについては desired task が 20 で設定されていたとしても