クラウドネイティブな監視をMackerelで / Mackerel Day#2Amazon ECSで好きなだけ検証環境を起動できるOSSの設計・実装・運用 / YAPC::Hiroshima 2024
Customer Reliability Engineer ー エンジニアとの信頼関係をつくる仕事
2019.9.7 DevRel/Japan Conference 2019
Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
はてな、サーバー監視サービス「Mackerel」の時系列データベースを強化。1分間隔の時系列データ保持期間を460日に変更 - プレスリリース - 株式会社はてな
株式会社はてな（代表取締役社長：栗栖義臣／本社所在地：京都市中京区）のサーバー監視サービス「Mackerel（マカレル）」は、時系列データシステムを強化し、本日2018年1月24日（水）より「Mackerel」に保存する1分間隔の時系列データの保持期間を「25時間」から「460日」に変更しました。これにより「Mackerel」の利用者は、最小1分間隔のサーバー情報を460日分確認でき（※1）、粒度の細かい情報をもとにした精度の高い分析が可能になります。また、これに伴い、Standardプランの「グラフ表示期間」も「400日」から「460日」に変更しました。 ▽ Mackerel https://mackerel.io/ 「Mackerel」は、サーバーにおける各種ハードウェアやアプリケーションソフトウェアの性能をリアルタイムに監視することができるSaaS型サーバー監視サービスです。当社が提
はてな、500 Startups Japanを通じたスタートアップ支援。サーバー監視サービス「Mackerel」で特別プランの提供を開始 - プレスリリース - 株式会社はてな
株式会社はてな（代表取締役社長：栗栖義臣／本社所在地：京都市中京区）は、シリコンバレーのベンチャーキャピタル「500 Startups」の日本向けファンド「500 Startups Japan」と連携し、当社が提供するサーバー監視サービス「Mackerel」において「500 Startups Japan」の投資先企業向けメニューの提供を本日2018年1月18日（木）より開始したことをお知らせします。 「500 Startups Japan」は、世界60カ国1900社以上の投資実績を持つシリコンバレーのベンチャーキャピタル「500 Startups」の日本向けファンドです。2016年2月以降、日本国内のシードステージのスタートアップ約30社への投資を実行してきました。 投資先企業に向けて「500 Startups」では、世界中のパートナー企業と連携した関係者特典「Perks」を提供しています
sardine - mackerel plugin のメトリクスを CloudWatch で集約する agent を書いた - 酒日記 はてな支店
OSS紹介 Advent Calendar 2017 - Qiita 22日目の記事です。 最近、監視を Zabbix から Mackerel に切り替えていっています。それと並行して、新規プロジェクトは Amazon ECS でコンテナで運用するようにもしていっています。そこで考えどころなのが、コンテナで動作するプロセスのモニタリングをどうするかです。 たとえば、コンテナで動作する nginx を mackerel-plugin-nginx で監視する場合、普通にやるとこんな感じになるのですが… nginx と mackerel-agent を同一タスク (ECS用語) に定義する mackerel-agent.conf で cloud_platform = "none" の設定をして、コンテナがホストの EC2 とは切り離された状態でホストとして認識されるようにする すべてのタスクを
Mackerel Plugin Hackathon #1 Tokyo に 参加した話 - Adwaysエンジニアブログ
こんにちは、久保田です。 先週の土曜日(8/19)に「Mackerel Plugin Hackathon #1 Tokyo」に参加して参りました。 mackerelio.connpass.com 人生初ハッカソンだったのですが、楽しく過ごせたので、どんな感じだったのか、つらつらと書いていきたいと思います。 説明/アイディアソン まず、13時に今回の会場であるVoyageさんのオフィスに集合し、はてなのsongmuさんから今回のテーマであるMackerelのpluginについてのお話がありました。 プラグインには メトリックプラグイン チェックプラグイン メタデータプラグイン があり、それぞれデモを交えて説明していただきました。 とてもわかりやすかったです。 今までメトリックプラグインしか作ったことがなかったので、色々できることが増えそうでわくわくでした。 そしてその後、近くの人とグループに
システム移行メンテナンスにおける一部時間帯に更新されたデータが消失した原因のご報告 - Mackerel お知らせ #mackerelio
Webオペレーションエンジニアの id:y_uuki です。 2017年8月7日に、メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫びにてお知らせしたメンテナンス作業時間中のデータ消失について、本エントリにて技術的な観点から原因の詳細をお伝えいたします。 概要 2017年8月7日(日本時間)に、オンプレミスデータセンターからAWSへ、Mackerelをシステム移行するためのメンテナンスを実施しました。 メンテナンス開始時間である14:30以降のデータ同期に失敗していたPostgreSQLデータベースサーバへの意図しないフェイルオーバーが、メンテナンス作業途中の15:30に発生した結果、14:30から15:30の間に更新されたデータを消失しました。 移行作業後のアプリケーションの動作確認中に、特定時間帯のデータを消失していることを発見し、データの復旧を
セールスエンジニア 改め Customer Reliability Engineer (CRE) になりました - Hatena Developer Blog
セールスエンジニア 改め Customer Reliability Engineer (CRE) シニアエンジニアの id:a-know です。この記事ではまだ馴染みの薄い、Customer Reliability Engineer とは何か・なぜ名称を変更したのか・CREとして はてな で働くということ、といったことについて紹介したいと思います。 （ご本人に事前に承諾をいただき、株式会社メルカリ SREチーム・@kazeburoさんが書かれた記事 に敬意を表した導入文にさせていただきました。ありがとうございます！） Customer Reliability Engineer とは何か Customer Reliability Engineer (CRE) という役職は、かのGoogleが先駆けて考案、発表したことはみなさんの記憶にも新しいかと思いますが、とはいえまだまだ広くは知られていな
Mackerelにおけるフロントエンドのパフォーマンス改善の取り組み - Hatena Developer Blog
この記事は、はてなエンジニアアドベントカレンダー2016の14日目の記事です。13日は id:astj による『Perl 6 のモジュールエコシステムの話とモジュールを公開する話 (2016年12月版) - 平常運転』でした。 こんにちは。Mackerelチームでアプリケーションエンジニアをやっている id:itchyny です。 Mackerelは、同じ役割を持つホストを束ねた「ロール」、そしてロールを束ねた「サービス」というまとまりでホストを管理し、一覧性の良いグラフ画面を提供しています。 ロールあたりのホスト数、そしてサービスあたりのロール数が増えると、グラフの画面のパフォーマンスに大きく影響します。 Mackerelチームでは大規模なサービスでも快適にグラフを閲覧できるように、継続的に画面のパフォーマンスを改善してきました。 本記事では、Mackerelのフロントエンドのパフォーマ
稼働中のバッチを監視したくなったら Mackerel Custom Metrics が便利 - Qiita
この記事は Mackerel Advent Calendar 2016 の 12/13 日の記事です。 はじめに 皆さんは golang で書かれたプロセスの監視はどの様に行われているでしょうか。builderscon 2016 でも登壇された Dave Cheney 御大の gcvis をお使いでしょうか。 確かに gcvis は便利なのですが一つ悩ましい点があり、gcvis 自信がプロセスを起動しないといけないという点にあります。作り上致しかたないのですが、コマンド引数にて起動するプロセスを指定する仕様になっています。つまり起動には gcvis が必要になるのです。監視の際にアプリケーションを止められるのならばいいのですが、そうでないときは使えない事もあります。 ところで昨日 golang で書かれたプロセスを監視/操作するためのツール「gops」をご紹介しました。 この gops で
監視だけじゃない！デプロイにMackerelを使う話 | メルカリエンジニアリング
SREチームの @siroken3 です。 以前、メルカリでリリース手段としてChatOpsを採用していることを本ブログで紹介しました。今回は内部で使っている技術の一部を紹介したいと思います。 tech.mercari.com tl;dr メルカリではデプロイにAnsible使ってる 毎日デプロイしつつサーバが増加/入れ替え激しいと心が削れる MackerelのAPIとAnsibleを組み合わせたらハッピーになった Insideデプロイ メルカリではデプロイ用のサーバでSlack Botが働いており、デプロイの事前要件を満たしているか確認した後、大まかには以下の処理を実行しています。 GitHubからデプロイ対象ソースの取得 composer install / gulp などのビルド処理 対象サーバにrsyncでデプロイ これらの処理は構成管理ツールであるAnsibleを使用しています。
mkr dashboards コマンドを活用して最高のダッシュボードを生成した - kakakakakku blog
はじめに 監視サービスでアラートが鳴った場合，それは閾値を超えた異常値が検知されているので，すぐに対応が必要だけど，もしかしたら通常時にも何か起きてるかもしれないし，通常時の傾向が特定のリリース以降で変わってしまっているかもしれないし，監視設定が漏れているかもしれない．逆にリソースが余りすぎていて過剰な投資をしてしまっているかもしれない．だからこそ，日々モニタリングすることは重要で，そんなモニタリングに絶対に欠かせない機能は「ダッシュボード」だと思ってる． 今回は mkr dashboards コマンドを使って Mackerel のカスタムダッシュボードを生成した話をまとめてみようと思う． カスタムダッシュボードとは？ Mackerel には「カスタムダッシュボード」という機能がある．ただそんなに複雑なものではなくて，一言で言ってしまうと「Markdown 記法が使える汎用的なテキストエリ
mackerel上でAWSのbilling情報が見れるplugin作った - tjinjin's blog
About mackerel上でAWSのbilling情報見たいなと思っていたので作りました！ github.com 使い方 特に設定は不要でreleasesにあるファイルをDLしてきて解凍すればそのまま利用可能です。 $ ./mackerel-plugin-aws-billing 現状はTotalの金額のみ取得可能です。徐々に詳細のbilling情報を取得したいなと思っているところです。 工夫点 最初はaws-sdk-goを使おうと思ってましたが、goamzを使っているケースが多かったのでそちらに合わせました go-mackerel-pluginがdeplicatedとなっていたので、go-mackerel-plugin-helperを使いました まとめ もっとgolang使って開発していくぞ！現場からは以上です。
AWSインテグレーション対象ホストのconnectivity監視設定について - Mackerel お知らせ #mackerelio
（2019-01-30 追記） 当エントリに記載の仕様については、2016年10月7日の以下のお知らせのとおり、現在では変更となっております。ご注意くださいませ。 mackerel.io AWSインテグレーション対象ホストは、その性質上、ときおりメトリックの一時的な欠損が起き、場合によってはMackerelで意図しないconnectivityアラートが発生することがあります。一部のユーザー様にはご迷惑をおかけしており申し訳ありません。 connectivityアラートは、一定時間メトリックの投稿がおこなわれていないホストに対して発生します。また、AWSインテグレーションはCloudWatch API を用いて各種メトリックを取得します。そのAPIリクエストによるメトリック取得が確率的に失敗することがあり、その状態が長く続くと場合によってはconnectivityアラートが発生することになり
Mackerel事始め 将来予測機能 - vague memory
Mackerel の将来予測機能を試してみます。 機能としては式による監視で特定の関数(線形回帰)を使って実現するようです。 将来予測機能による監視・グラフ範囲をURLに反映されるように ほか - Mackerel ブログ #mackerelio 式による監視を行う - Mackerel ヘルプ 将来予測機能 式による監視の仕様 公式サイトの記載より 監視間隔は5分ごと 設定可能な式は、グラフの系列が1本になるものだけ 式が複雑過ぎる等で値が取れない場合はステータス Unknown としてアラートが発生 監視項目上限数20 Free プランでは使用不可 線形回帰関数 使用できる関数は カスタマイズしたグラフを表示する - Mackerel ヘルプ で確認できます。 linearRegression(metrics, duration) 現在時刻から duration 前 までのメトリック値
問題があったのでfluentdでsigdumpを使いstactraceしてmackerel-client-rubyにPRした話 · さよならインターネット
問題があったのでfluentdでsigdumpを使いstactraceしてmackerel-client-rubyにPRした話 July 8, 2016 みんなのネットワーク環境が安定しているのか.. 我々の世界線にノイズが混在してしまっているのか… それを調べるすべはないが、下記のような問題があった。 mackerelで突然グラフが表示されなくなる そのグラフを表示しているのはfluent-plugin-mackerelを利用してfluentd経由で作成している そのtd-agentは再起動しようとするとTimeout errorになる ということで怪奇現象を解決する為にやったことをメモ 愚直にtd-agentの再起動を試みてみる [watashi@example-host ~]$ [watashi@example-host ~]$ [watashi@example-host ~]$ s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mackerel インフラ基盤 AWS 移行の舞台裏
Mackerelにおける時系列データベースの性能改善 / Performance Improvement of TSDB in Mackerel
運用・監視もコード化する。開発者が監視まで考える方法論