ブックマーク / mackerel.io (4)

  • Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio

    Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada

    Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
    netcraft3
    netcraft3 2018/06/13
  • システム移行メンテナンスにおける一部時間帯に更新されたデータが消失した原因のご報告 - Mackerel お知らせ #mackerelio

    Webオペレーションエンジニアの id:y_uuki です。 2017年8月7日に、メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫びにてお知らせしたメンテナンス作業時間中のデータ消失について、エントリにて技術的な観点から原因の詳細をお伝えいたします。 概要 2017年8月7日(日時間)に、オンプレミスデータセンターからAWSへ、Mackerelをシステム移行するためのメンテナンスを実施しました。 メンテナンス開始時間である14:30以降のデータ同期に失敗していたPostgreSQLデータベースサーバへの意図しないフェイルオーバーが、メンテナンス作業途中の15:30に発生した結果、14:30から15:30の間に更新されたデータを消失しました。 移行作業後のアプリケーションの動作確認中に、特定時間帯のデータを消失していることを発見し、データの復旧を

    システム移行メンテナンスにおける一部時間帯に更新されたデータが消失した原因のご報告 - Mackerel お知らせ #mackerelio
    netcraft3
    netcraft3 2017/08/15
    recovery_target_timeline = 'latest'忘れか。自分もフェイルオーバーでマスター昇格したDBサーバーと今までのマスターとの整合性が取れなくなったことある。
  • メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫び - Mackerel お知らせ #mackerelio

    Mackerelサブプロデューサーの id:Songmu です。以前よりお知らせしていたメンテナンスを日8/7(月)の14:30(日時間)より開始し、18時に終了いたしました。ユーザーの皆様のご協力ありがとうございました。 件の詳細について報告いたします。以降記載している時刻は全て日時間となります。 アクセス停止時間帯 14:30-14:50 及び 15:30-15:33 上記時間帯にシステム全体がアクセス受付を停止していました。 データの消失に関して 今回のメンテナンスでは、来は想定していなかったデータの消失が発生しました。ご迷惑をおかけして大変申し訳ありません。 メンテンス中の 14:30-15:31 の時間帯にMackerelのデータベース上に作成された時系列データ以外のデータが消失しました。具体的には、上記時間帯に登録された、アラートやホスト情報を含むデータが消失していま

    メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫び - Mackerel お知らせ #mackerelio
    netcraft3
    netcraft3 2017/08/07
    DBがフェイルオーバーして整合性が取れなくなったってどういう状況だろう?オートフェイルバックする設定になっていた、レプリケーションのログポジションが崩れた、とかかな。
  • AWSインテグレーションが ALB に対応しました ほか - Mackerel ブログ #mackerelio

    こんにちは。今週も先週に引き続き、Mackerel を使っていただいているユーザーの方のブログ記事を紹介します! 監視だけじゃない!デプロイにMackerelを使う話 - Mercari Engineering Blog Ansible で用いるインベントリ情報を MackerelAPI を用いて取得する、というものです。 サーバー監視サービスとして広く認知をしてもらっている Mackerel ですが、もともとは はてな社内のサーバー管理ツールとして誕生したという背景があります。今回紹介していただいたような使い方をどんどん実践してもらえるよう、今後も開発を続けていきます。すばらしい記事を書いてくださったメルカリ様、ありがとうございました! それでは、今週のリリース情報です。 AWSインテグレーションが ALB に対応しました 以前より多くの要望を頂いていた機能が、ようやく今週、リリー

    AWSインテグレーションが ALB に対応しました ほか - Mackerel ブログ #mackerelio
    netcraft3
    netcraft3 2016/11/25
  • 1