背景 GMOペパボでは、社内チャットとして Slack を、サーバリソースの監視やアラートにMackerel を利用しています。 また、最近はログ集約、解析の基盤として Treasure Data の利用も増えてきました。 Slack 導入以前から、IRC をヘビーに利用していたこともあり、chat-ops 文化はあったのですが、通知や bot があたかも自律的に連携しているかのような、ピタゴラスイッチ的な仕組みはあまりありませんでした。(そして、私はそういう仕組みを作るのがすごく楽しい!) ですので、今回、試験的にそういった仕組みを作って導入してみました。(今日から!) 障害検知からの初動 今携わっているサービスでの障害検知は、おおざっぱに書くと次のようになっています。 Mackerel からアラートが Slack にくる bot に実装されてる外形監視コマンドを発行する 問題がありそう
![Mackerel、Treasure Data、Slackを組み合わせて障害検知の初動をサポートする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e8cd958b38083fbe9d7f40d3e7c9f94dafbbe69a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9TWFja2VyZWwlRTMlODAlODFUcmVhc3VyZSUyMERhdGElRTMlODAlODFTbGFjayVFMyU4MiU5MiVFNyVCNSU4NCVFMyU4MSVCRiVFNSU5MCU4OCVFMyU4MiU4RiVFMyU4MSU5QiVFMyU4MSVBNiVFOSU5QSU5QyVFNSVBRSVCMyVFNiVBNCU5QyVFNyU5RiVBNSVFMyU4MSVBRSVFNSU4OCU5RCVFNSU4QiU5NSVFMyU4MiU5MiVFMyU4MiVCNSVFMyU4MyU5RCVFMyU4MyVCQyVFMyU4MyU4OCVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9OTk3OGMyODUyNjcxMzU2ZWVkNWJhMTFjMzM2YWE5Y2Q%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBrZW5jaGFuJTQwZ2l0aHViJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wMzQ0NTAwODE2ODQ4NTUwNzU3MmY2NTEzZTcyNDE0YQ%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3D0f70d0bfa3cbea18c54f5fc1d4337f44)