9/26(水)に発生した障害の詳細報告とその後の取り組みについて - Mackerel ブログ #mackerelio
9/26(水)に発生した障害の詳細報告とその後の取り組みについてお知らせいたします。 発生時間 当日のタイムライン(いずれも日本時間) 10:51 Redisのフェイルオーバーと障害発生 10:55 復旧作業と障害継続 11:00-14:50 障害対応 15:20 復旧確認 障害発生の原因について 仮説検証について 今後の対応 Redisフェイルオーバー挙動の見直し(実施済) アプリケーションの増強(実施済) Redisへ保存する監視データの効率化(実施済) 不適切なリクエストへの対応(実施済) アプリケーションモニタリングの増強(恒常対応) まとめ 発生時間 発生時間: 2018/09/26 10:51-15:20 (JST) 発生事象: Mackerelシステム全体の不調と死活監視の停止 当日のタイムライン(いずれも日本時間) 10:51 Redisのフェイルオーバーと障害発生 監視デ
Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
