Mackerel で行った障害対応演習を紹介します - Hatena Developer Blog
こんにちは、Mackerel チーム SRE の id:heleeen です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の4月号で、先月分は id:taxintt さんのサービスの一般公開前からSLI/SLOと向き合うです。 今回は、先日 Mackerel チームで行った障害対応演習で実施した内容と、どのような学びを得たかについて紹介します。 本番障害はできればなくしたいものですが、すべての障害を完全になくし可用性を100%にするのはとても困難です。そのため、障害が発生したときの影響範囲を小さくする仕組みを導入したり、ロールバックを素早く行えるようにしておくなど、影響を抑えるための取り組みが必要になります。 Mackerel では、その一環として、障害対応時のオペレーションの確認やバックアップからの復旧が行えるかの検証などの起きてしまった障害を素早く収束させたり、
Raspberry PiでMackerelを使うのが楽になったよ！ - Qiita
mackerel-agent v0.64.1より、Raspberry Piで使える32bit ARM用Debianパッケージが自動ビルドされるようになりました。 これまでも32bit ARM用のバイナリファイルを含むtar.gzは自動ビルドされていたのですが、バイナリファイル以外の部分は自分で頑張る必要がありました。 一方、今回から作られるようになったDebianパッケージにはsystemdによる自動起動の設定も含まれるので、手持ちのRaspberry PiをシュッとMackerel管理下に置けるようになります。 Raspberry Piは画面無しで運用することが多いと思います。そんなときでも、Mackerel管理しておくとトラブルシューティングが楽になるのでオススメです。 動作例 筆者のRaspberry Pi Zeroでの動作例です。 メモリ512MB1のマシンでもちゃんと動いているの
Mackerelプラグイン vs WHOIS情報 - Qiita
少し前にMackerelでwhois情報の有効期限をチェックするプラグインを作ったのですが、その時のWHOISにまつわる苦労話を少し深堀りしようかと思います。 TL;RD; WHOISベースでのドメイン有効期限監視は面倒 言い訳 この手の記事のドメインの例示にはexample.comなどを使うのが礼儀なのですが、生きた情報が無いと分かりづらいため、Google系のドメインを例として使用しています。 そもそも何をするプラグインか チェックプラグインの一種で、指定したドメインのWHOIS情報をチェックして、有効期限までの日数に応じてWARNING,CRITICAL判定をします。 $ ./mackerel-plugin-check-whois --domain=attakei.net Whois OK: attakei.net is expired at 114 days $ ./mackere
mackerelで監視した後の一次対応を自動化する話 - Qiita
はじめに 監視システムからアラートを受信した後におこなう対応のうち、手順が決まっていて誰がやっても同じ部分（一次対応）を自動化して、その後対応するエンジニアが楽になるようにお膳立てします。 監視アラート対応 監視から通知される情報は、一時点・一監視項目（メトリクス）の情報にすぎません。 対応するエンジニアが適切な診断・正しい対応判断するためには情報不足であり、追加でその周辺情報や時系列遷移を情報収集するという作業が毎回発生しています。 今回はこの情報収集作業を、監視の通知がされたらすぐに自動で行われるようにします。 これができると、 エンジニアが情報収集作業を飛ばして、即時に対応が開始できるようになります。 なんといっても楽ですし、復旧時間を短縮でき、障害によるサービスレベルの低下・損失を最小化できます。 CPU使用率やメモリ使用率の一過性の閾値超過など、エンジニアが確認したときには既に解
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
