秒間500件以上のLOGフローアーキテクチャ - Qiita今年の9月、社内でLOGのアーキテクチャの改善を計るチームに参加する事になりました。 その際に経験させていただいた、知見をここでまとめてみようと思います。 背景 チームが作られた経緯としては、社内のLOGアーキテクチャを利用している際、問題が発生したためです。 問題発生した際の簡単なLOGアーキテクチャ図です。 backendのmongodbがLOGの流量に耐えきれず落ちた。 log dispatcherまで派生し、他のbackend_serviceへのLOG流入にまで影響を及ぼした。 各種log dispatcherサーバの設定時、backend毎に流量の微調整を行わなくては行けないので障害発生時やサーバ構築時の対応にてインフラチームの人員コストが増大していた。 今回の目標 上記問題をふまえて、今回のLOGアーキテクチャ検討チームの目標は 秒間500件以上を各backendまで流し込むア
