アラーティングガイドラインで秩序を取り戻せ - freee Developers Hub

こんにちは Enabling SRE teamに所属しているSREのchoreです！ この記事は freee 基盤チームアドベントカレンダー の17日目になります。 今回は freeeにおけるモニタリング運用の話をさせて頂きます。 背景 freeeではインフラやプラットフォーム周りのエラーをDatadogに集約していて、問題が起きた際には アラートが鳴ってエンジニアが実際のシステムに問題がないかを確認しています。*1 freeeにおけるDatadogのアラートの通知先 freeeにおけるDatadogのアラートは大きく分けて2つのSlackチャンネルに通知されています。 通知先チャンネル アラート内容 alert 緊急度の高いアラート alert-ntf 緊急度の低いアラート アラートの問題点 しかし、現状のアラートには以下の問題がありました。 作成された経緯が不明なアラートがあり、どう対