Mackerelプロダクトマネージャーの id:Songmu です。この記事は、Mackerel Advent Calendar 2018 の19日目の記事です。 さて、ご存知の通り、mackerel-agentのプラグイン実行やアクション実行はコマンドライン形式の文字列で記述します。例えば以下のような形です。 [plugin.metrics.accesslog] command = "mackerel-plugin-accesslog /etc/nginx/access.log" ターミナルで試したコマンドをそのままmackerel-agent.confに書けるのでわかりやすいですね。 コマンドの配列指定とそれのススメ 実は、この command ですが、文字列の他に配列で指定することも可能です。例えば以下のような具合です。 [plugin.metrics.accesslog] comm

9/26(水)に発生した障害の詳細報告とその後の取り組みについてお知らせいたします。 発生時間 当日のタイムライン(いずれも日本時間) 10:51 Redisのフェイルオーバーと障害発生 10:55 復旧作業と障害継続 11:00-14:50 障害対応 15:20 復旧確認 障害発生の原因について 仮説検証について 今後の対応 Redisフェイルオーバー挙動の見直し(実施済) アプリケーションの増強(実施済) Redisへ保存する監視データの効率化(実施済) 不適切なリクエストへの対応(実施済) アプリケーションモニタリングの増強(恒常対応) まとめ 発生時間 発生時間: 2018/09/26 10:51-15:20 (JST) 発生事象: Mackerelシステム全体の不調と死活監視の停止 当日のタイムライン(いずれも日本時間) 10:51 Redisのフェイルオーバーと障害発生 監視デ

こんにちは。Mackerelチーム CRE の井上（id:a-know）です。 昨日、同じくCREの三浦（id:missasan）より、Mackerelのアップデート告知をお知らせしましたが、その中で以下のようなアップデートが含まれていたかと思います。 go-check-plugins v0.22.1 のリリースで、check-log プラグインでログファイルを追尾する際にinode番号を参照するよう変更しました。 これによりログローテーションされた際のログファイルの追尾精度が向上しました。 今日のこのブログ記事では、その変更内容について少し詳細に解説したいと思います。 当記事の要約 check-log のチェック対象ログファイルの追跡を、これまでの「ファイル名のみ」に加えてinode番号も加味して追跡するようにしたことで、追尾可能なケースを増やしました。 従来までの check-log

こんにちは。Mackerelチーム CRE の三浦（id:missasan）です。 今日は、早いもので1ヶ月あった はてなサマーインターン2018 の最終日です。 developer.hatenastaff.com はてなのサマーインターンでは、期間の後半はインターン生が各チームに配属されて、実際にサービスに組み込まれる機能開発や業務の課題に取り組みます。 Mackerelチームにも2名のインターン生が配属されて、たくさんのタスクに挑戦してくれました。 先日の9/3（月）にご紹介した「API からロールの登録・削除が可能になりました」という箇所もインターン生が実装しリリースされた機能です。 mackerel.io サマーインターン最終日ということもあり、今日はインターン生が実装した機能一式をどーんとご紹介します。 インターン生をそばで見守っていたMackerelディレクター 粕谷（id:d

こんにちは。Mackerelチーム CRE の三浦（id:missasan）です。 今回は、多くのユーザの方々からご要望があったタイトルの機能以外にも、はてなサマーインターン生による追加機能、コントリビューターの方による追加・改善など盛りだくさんの内容です。 ぜひ詳細までお読みください。 それでは、アップデート情報です。 AWSインテグレーションによるEC2連携ホストの自動退役機能を追加しました AWSインテグレーション機能で連携したEC2ホストを、自動退役できる機能を追加しました。 この機能を有効にすると、インスタンスの削除を行った際に、Mackerel上で自動で退役処理が実行されます。 設定方法は、AWSインテグレーション設定画面にて 自動退役を有効にする にチェックを入れてください。 すでに登録されているAWSインテグレーションの設定では、無効となっています。新規に登録される場合は、

こんにちは！　Mackerelチーム CREの井上（id:a-know）です。こちらのブログではお久しぶりとなります。 さて今回は、昨日・8月2日（木）に開催した Mackerel の公式イベント、Mackerel Meetup #12 Tokyoの開催レポートをお届けします！ 公式ミートアップとしては、前回から約半年ぶりの開催となりました。参加できた方も、そうでない方も、ぜひこちらのレポートで会場の雰囲気を味わっていただけたら、と思います！ 開催会場はドリコム様のセミナースペース ＆ カフェスペース！ Mackerel Meetup の第12回会場となる場所をお借りさせていただいたのは、Mackerelのユーザーさまでもある株式会社ドリコム様！ ミートアップを開催する度に思うのですが、毎回このような素敵な会場をお借りすることができて、本当にありがたい限りです......！ 受付の様子。ク

こんにちは。Mackerelディレクターのid:daiksyです。 今週で、ついにMackerelの連続リリースが200週目に到達しました！！！ 200週までの道のり Mackerelは、2014年9月17日に正式にサービスを開始し、以降毎週必ず新機能リリースを続けてきました。 mackerel.io Mackerelチームでは毎週火・木曜日を定期リリース日と定めており、それぞれ何かしらの本番リリース作業を行っています。そして毎週月曜日(以前は金曜日)に、その週の定期リリースの内容を皆さんにお知らせするという運用をしています。お知らせする内容については、バグフィックスや軽微な修正は含まず、ユーザーに対して新しい価値を提供する新機能に限定する、ということにこだわっています。つまり、毎週必ず、何かしらの新機能がリリースされている、ということです。 厳密に言えば、ゴールデンウィークや年末年始など

こんにちは。Mackerelチーム CRE の三浦（id:missasan）です。 ついに、Mackerelの連続リリース記録も200週を達成いたしました。 これはひとえに日々Mackerelを活用いただき、プルリクエストやフィードバックをいただいているユーザのみなさまのおかげです。いつも本当にありがとうございます！ リリースを記念して、Mackerelのトップページをリニューアルしました。 それでは、今週のアップデート情報です。 アラートグループ機能をリリースしました これまで、ネットワークやストレージなど広い範囲に影響がある箇所に障害が発生した際などに、大量のアラートが上がって困る、という経験をしたことがある方も多いのではないでしょうか。 大量のアラートに埋もれて重要なアラートを見逃してしまったり、すべての時系列を把握することが難しかったりすることがあります。 今回はそういった、一度に

Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada

Mackerelサブプロデューサーの id:Songmu です。表題の件、ユーザーの皆様には度々ご迷惑をおかけしており大変申し訳ありません。 本件の詳細に関する説明と、今後の対応に関してお知らせいたします。 死活監視のアラート誤報に関して Mackerelでは、mackerel-agentから一定時間メトリック投稿が途絶えた事をもって、サーバーがダウンしたと判断し、死活監視アラートを発報する仕組みになっています。 現在、 mackerel.io ドメインの名前解決が不安定になっております。それに伴い、 mackerel.io ドメインの名前解決が一定期間失敗し、Mackerelへのアクセスが一時的にできない環境において、 mackerel-agent がMackerelへのメトリック投稿をおこなうことができず、Mackerelシステム側でサーバーがダウンしたと判断してしまい、死活監視のアラ

Webオペレーションエンジニアの id:y_uuki です。 2017年8月7日に、メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫びにてお知らせしたメンテナンス作業時間中のデータ消失について、本エントリにて技術的な観点から原因の詳細をお伝えいたします。 概要 2017年8月7日(日本時間)に、オンプレミスデータセンターからAWSへ、Mackerelをシステム移行するためのメンテナンスを実施しました。 メンテナンス開始時間である14:30以降のデータ同期に失敗していたPostgreSQLデータベースサーバへの意図しないフェイルオーバーが、メンテナンス作業途中の15:30に発生した結果、14:30から15:30の間に更新されたデータを消失しました。 移行作業後のアプリケーションの動作確認中に、特定時間帯のデータを消失していることを発見し、データの復旧を

こんにちは。デザイナーの id:murata_s です。Mackerelのリリース当初からMackerelの画面設計やUX、ユーザビリティなどのデザイン業務全般を担当しています。 今回は、主にエンジニアさんのためのツールであるMackerelをデザインする際に id:murata_s が気をつけている点を紹介します。ユーザーにとって必要な情報を分かりやすく伝え、迷わないデザインを施すにはどういった配慮が必要か、製品の振る舞いのデザインについてMackerelの事例を交えながら考えてみたいと思います。 Mackerelは言わばソフトウェアであり管理画面ですから、一般に言われるウェブサービスよりもツールとしての側面が強いサービスだと思います。雑誌の誌面ではなく、車のダッシュボードをつくっているようなもので、グラフィックデザイン的な情報設計の考え方が前提となりつつも、それに加えてプロダクトデザイ