アラートは鳴ってないのに突如403が多発… AWS WAFマネージドルール更新の影響とその対応について - LCL Engineers' Blog

SRE兼バックエンドエンジニアの高良です。 今回はAWS WAFの運用で、AWSマネージドルールのアップデートにより発生した誤ブロックとその対応について書いていきます。 発生した問題 勤務中、サービスにアクセスすると403で弾かれてしまう報告が社員から届きました。 ただ、外形監視のアラートは鳴っておらず、全員の環境で再現する訳でもなかったため、原因特定までに少し時間を要してしまいました。 調査を進めたところ、以前構築されたWAFブロック数をカウントするダッシュボードのおかげで、WAFの特定ルールのブロック数が異常に増加していることを確認できました。 CloudWatch Metric Mathを利用してAWS WAFのマネージドルールのブロック数を可視化する方法を解説 - LCL Engineers' Blog 結果、弊社で利用しているアナリティクスツールの挙動がWAFのマネージドルールに