Datadogを活用して監視・運用周りを整備しました

こんにちは。アルダグラムでエンジニアをしている okenak です。 弊社サービスのKANNAでは、システム監視にDatadogを使用しております。 今回は、Datadogのダッシュボード周りを整備して監視・運用フローを改善しましたので、その点を紹介したいと思います。 Datadogの監視・運用周りの課題 弊社では昨年にDatadogを導入しましたが監視・運用において、いくつかの課題が残ってました。 必要十分な監視項目やアラートが設定されていない トラブル時にどこで問題が起こっているか分かりづらい アラートのオオカミ少年化 次に課題について詳細と改善内容について紹介します。 課題1. 必要十分な監視項目やアラートが設定されていない １つ目の課題としては、KANNAのサービスが急拡大していくなかで管理するリソースが増えていくことで、Datadogのモニターやアラートが足りてないという問題があ