Serverlessconf Tokyo 2017で『サーバレスアーキテクチャによる時系列データベースの構築と監視』という発表してきました - プログラムモグモグ
先日開催されたServerlessconf Tokyo 2017にスピーカーとして参加しました。 2017.serverlessconf.tokyo Mackerelの今の時系列データベースは、マネージドサービスを組み合わせて作っています。 検証・実装・投入フェーズを終えて、運用・新機能開発フェーズに入っています。そんな中で、監視サービスを提供する私たちが、サーバーレスアーキテクチャで作ったミドルウェアをどのように監視しているかについてお話しました。 何かしら役に立つことや発想の元となるようなことをお伝えできていたらいいなと思います。 私も他の発表から様々なことを学びました。特に面白かった発表を挙げておきます。 真のサーバレスアーキテクトとサーバレス時代のゲーム開発・運用 ゲーム開発を支えるBaaSを開発されるなかで得られた様々な知見についてお話されていました。 プッシュ通知のために大量の
サーバ「管理」ツールとしてのMackerelの起源 - ゆううきブログ
この記事は、SaaSのサーバ監視サービスMackerelを起源を遡り、そこから現在の姿に至った経緯をはてな社内のエンジニアに共有するためのものです。 なお、ここに書かれていることは、Mackerel開発チームの公式見解ではありません。 概要 Mackerelは、もともとは2007年ごろに開発されたはてなの社内のサーバ管理ツールであり、動的なインフラストラクチャに対応するために、現在でいうところのInfrastructure As Codeを目指したものです。 そこから2013年にSaaSのサービスとして開発され、コードベースとアーキテクチャは全く新しくなり、監視機能を備え、サーバ「監視」サービスと呼ばれるようになりました。 しかし、はてな社内では、プログラマブルなAPIを備えたサーバ「管理」サービスとして、Mackerelを中心にしたインフラストラクチャを構築しています。 Mackerel
Mackerel "kazeburo" plugin を通じてサーバーモニタリングのキモを探る 〜スクリプトプラグイン編〜 - えいのうにっき
去る 10月5日に、Mackerel DAY というイベントが開催された。サーバー監視サービス・Mackerel のリリース3周年を祝っての大型イベントで、豪華登壇陣をゲストに迎え、お昼過ぎから懇親会まで、非常に濃密な時間だった。僕もスタッフとして参加し、また登壇もさせていただいた（僕の登壇スライドはこちら）。 豪華登壇陣、と書いたが、本当に豪華で、非常に多種多様な観点でのお話を聴くことができ、中の人としても・いちユーザーとしても、大変貴重な時間だった。そんななか、ガツンと脳天に響いたセッションが、メルカリ社の SRE チーム所属・プリンシパルエンジニアの id:kazeburo （ @kazeburo ）さんの発表だった。 speakerdeck.com 内容としては、メルカリ社における Mackerel のサービス／ロール設計のお話と、独自に作成しておられるカスタムスクリプト／プラグイ
セールスエンジニア 改め Customer Reliability Engineer (CRE) になりました - Hatena Developer Blog
セールスエンジニア 改め Customer Reliability Engineer (CRE) シニアエンジニアの id:a-know です。この記事ではまだ馴染みの薄い、Customer Reliability Engineer とは何か・なぜ名称を変更したのか・CREとして はてな で働くということ、といったことについて紹介したいと思います。 （ご本人に事前に承諾をいただき、株式会社メルカリ SREチーム・@kazeburoさんが書かれた記事 に敬意を表した導入文にさせていただきました。ありがとうございます！） Customer Reliability Engineer とは何か Customer Reliability Engineer (CRE) という役職は、かのGoogleが先駆けて考案、発表したことはみなさんの記憶にも新しいかと思いますが、とはいえまだまだ広くは知られていな
【重要】8月上旬予定のメンテナンスのお知らせ - Mackerel ブログ #mackerelio
Mackerelをご利用の皆様へ いつもMackerelをご利用いただき誠にありがとうございます。Mackerel事業責任者の id:sugiyama88 です。 おかげさまでMackerelは大きく成長させていただいており、今後の更なる飛躍に備えたメンテナンスを実施する運びとなりました。大きな目的としては時系列データベースの性能、機能拡張を見据えたメンテナンスとなります。 メンテナンスに際しては、影響を最小限に留めるべく最大限の対応を実施いたしますが、ご利用者様への影響もあるため事前にお伝えしております。また、メンテナンスはリスクを考慮し2回に分割した計画としております。 よりよいサービスを継続的にご提供するため重要な施策となりますので、ご理解とご協力をお願いいたします。 メンテナンス日時と影響 メンテナンス第1弾 2017年8月7日（月）14:30~16:30（JST） 上記時間帯の一
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
新しいユーザー権限の追加方針について - Mackerel ブログ #mackerelio
Mackerelディレクターのid:daiksyです。いつもMackerelをご利用いただき、ありがとうございます。 Mackerelのユーザー権限について、近日中に新しい権限の追加を予定しており、事前にお知らせをしようと思います。 ユーザー権限の追加について これまで「管理者」「編集者」「閲覧者」の3つあったユーザー権限に新しい権限を追加します。それに伴い、それぞれの権限の名称を「オーナー」「管理者」「一般ユーザー」「閲覧者」の4つとし、より便利にお使いいただけるようになります。詳細化前後の権限の対応関係などを以下にまとめておりますので、ご確認下さい。 詳細化前後の権限の対応関係 Mackerelでは権限の強い順に「管理者」「編集者」「閲覧者」という3つの権限が設定可能です。これは、ユーザーに必要な権限のみを付与することで、誤操作などを防ぐことができる機能として提供しています。とはいえ、
URL外形監視のレスポンスボディのチェックとリダイレクトに関する挙動と今後の方針について - Mackerel ブログ #mackerelio
Mackerelサブプロデューサーの id:Songmu です。平素はMackerelをご利用いただき、誠にありがとうございます。表題の件に関し告知いたします。 ヘルプに記載のある通り、URL外形監視機能において、2xx/3xx系のステータスコードは正常と見なされます。また、3xx系のレスポンスに関しては、リダイレクト先のチェックはおこないません。 また「レスポンスボディのチェック」が設定されている場合でも、レスポンスが3xx系だった場合はレスポンスボディのチェックは行っておりません。つまり、3xx系のレスポンスを返すURLに対して「レスポンスボディのチェック」の設定がなされている場合であっても、その文字列のチェックは実施されていない状況です。 これは、直感的ではない挙動だと認識しており「レスポンスボディのチェック」が設定されている場合には、3xx系のレスポンスであっても、正しくその文字列
グラフアノテーションをリリースしました！ ほか - Mackerel ブログ #mackerelio
こんにちは。セールスエンジニアの id:Soudai です。 今月から Mackerel チームにジョインしましたがついに皆様にアップデートをお伝えさせていただきます。 先週まではチームメイトの id:a-know が主に皆様にお届けしてきましたが今週からは私も頑張って行きます！ また先日は Mackerel Meetup #9 Tokyo を開催しました。 こちらの開催内容については別途皆様にご報告したいと思いますのでお楽しみに。 それでは、今週のアップデート情報をお伝えします。 グラフアノテーションをリリースしました！！ ご要望が多かったグラフアノテーションをリリースしました。 この機能により、サービスやロールに関係する様々な事象をグラフにアノテーション（注釈）として残すことができます。 アプリケーションのデプロイやバッチ処理実行、テレビCMなどのビジネスキャンペーンとの相関を考慮しな
「Hatena Engineer Seminar #7 @ Tokyo」を開催しました & 資料を公開しました！ #hatenatech - Hatena Developer Blog
こんにちは、Web アプリケーションエンジニアの id:KGA です。 去る、12月6日(火) にはてな東京オフィスのイベントスペース SHIBAFU において Hatena Engineer Seminar #7 @ Tokyo を開催いたしました。平日夜の開催にもかかわらず多数の方にご来場いただき誠にありがとうございました。 今回は普段のエンジニアセミナーとは趣向を変え、はてなのエンジニアがどのように成長してきたか、これから先どのようなキャリアを描いているか、会社としてその成長やキャリアを支える制度や環境がどうなっているか、などについて発表をさせていただきました。また、トーク・LT の後にはプロデューサーを司会に据えパネルディスカッションを行いました。こちらも普段とは趣向を変えた催しでしたがトーク・LT だけでは伝えきれなかったはてなのエンジニアの本音や深い部分をうまく引き出してみなさ
Mackerel チェック機能の意外と知られていないテクニック集 - Qiita
この記事は Mackerel Advent Calendar 2016 の22日目の記事です。 はじめに Mackerel と聞くと、どうしてもサービスメトリクスに着目しがちなのですが実際には Mackerel には大きく2つ機能があります。 サービスメトリクス(リソース情報の可視化) チェック機能(アラート通知) サービスメトリクスの上限値などからアラート通知を行う事もできるのですが、何らかの事象を継起にアラート通知を発生させる事も可能です。自前でこういった物を作る場合 発生と復旧のステータス管理 メール通知の再送制御 などなど、後から面倒な事が出てきて割とめんどくさい事だったりします。しかし Mackerrel のチェック機能を使えばその辺りを全て Mackerel に任せられます。今日はこの Mackerel のチェック機能を使った、意外と知られていないテクニックをご紹介しますよ、奥
Mackerelのバックエンド時系列データベースGraphiteを試してみた - Qiita
監視ツールと自分 本題に入る前に これまで自分が関わってきたモニタリングツールについて書きたいと思います。 (所属会社で使ってたけど、自分が直接触っていないツールは省略しています) その昔、雑多なエンジニアをやっていたころ、サーバーやネットワーク機器のモニタリングツールを rrdtool を使い自作していました。 rrdtoolにはデータの保管とグラフ描画することをやらせて、監視値の取得をシェルスクリプトやperlを使って実装していました。rrdtoolは慣れると好きなようにグラフを描画できるのでてっとり早く監視項目を追加するにはよいツールです。 構成はシンプルで監視対象ノードにrrdtoolとスクリプト、ウェブサーバを配置したオールインワン構成でした。閲覧するノード毎にURLが変わり、複数ノードを参照するときはさすがに面倒なので各サーバのURLをインデックスしたページから閲覧して利用して
Mackerelの`check-log`プラグインでエラーの内容も取得する - Qiita
check-logプラグインについて サーバー監視のSaaSであるMackerelは, 公式が提供するプラグインを利用することで, サーバー上にある様々なリソースや情報を監視することができます. その中の1つが, ログ監視を行うcheck-logです. このプラグインを使えば, サーバ上に存在する任意のログファイルを監視し, そこに指定した文字列が出現した場合にアラートを発生させることができます. 例えば, mackerel-agent.confに次のように書いておけば, /var/log/myapp/app.logに, [CRITICAL]というログが書き込まれた時, アラートを発生させることができます. [plugin.checks.app] command = "check-log --file /var/log/myapp/app.log --pattern '\\[CRITICA
Github管理しているmackerelの監視ルールが変更されたらJenkinsからPRを投げる - 日頃の行い
こちらの記事はMackerel Advent Calendarの11日目の記事として書いています。 qiita.com mackerelを使って監視ルールをバージョン管理して、もし差分があったら自動でGithubにPRを投げるみたいなものを作った時の話です。 こちらの記事を見ていいなぁと思い、そんなことをやってみたいと思いました。 kakakakakku.hatenablog.com 概要 監視設定を管理している状態ですが、カジュアルにGUIで変更などした後にもその状態をちゃんと管理したいという気持ちがあります。 定期的に変わっていないかを判定して、変わっていたらアラートもありですが、結局その後することはコードに反映させることかと思うので、変更のPRまであげられたら楽だなぁと思いました。 なので今回は変更があった場合は何かアラートを投げるのではなく、PRを投げて人が見れるできる状態まで持っ
Mackerelプロセス監視設定をする時の注意点 - Qiita
公式資料 プロセス監視の仕様 https://mackerel.io/ja/docs/entry/howto/check/process Github README https://github.com/mackerelio/go-check-plugins/blob/master/check-procs/README.md 設定手順 mackerel-agentをインストール https://mackerel.io/ja/docs/entry/howto/install-agent /etc/mackerel-agent/mackerel-agentのapikey欄にキー追加を忘れずに mackerel公式チェックプラグインをインストール https://mackerel.io/ja/docs/entry/howto/mackerel-check-plugins プロセス監視設定 htt
監視だけじゃない！デプロイにMackerelを使う話 | メルカリエンジニアリング
SREチームの @siroken3 です。 以前、メルカリでリリース手段としてChatOpsを採用していることを本ブログで紹介しました。今回は内部で使っている技術の一部を紹介したいと思います。 tech.mercari.com tl;dr メルカリではデプロイにAnsible使ってる 毎日デプロイしつつサーバが増加/入れ替え激しいと心が削れる MackerelのAPIとAnsibleを組み合わせたらハッピーになった Insideデプロイ メルカリではデプロイ用のサーバでSlack Botが働いており、デプロイの事前要件を満たしているか確認した後、大まかには以下の処理を実行しています。 GitHubからデプロイ対象ソースの取得 composer install / gulp などのビルド処理 対象サーバにrsyncでデプロイ これらの処理は構成管理ツールであるAnsibleを使用しています。
go-mackerel-plugin-helperを利用してカスタムメトリックプラグインを作成する - Mackerel ヘルプ
現在、プラグイン作成には、ここで紹介しているgo-mackerel-plugin-helperよりも、go-mackerel-pluginを利用することを推奨しています。go-mackerel-pluginを利用したプラグイン作成方法の詳細は https://mackerel.io/ja/docs/entry/advanced/go-mackerel-plugin をご覧ください。 公式プラグインでも利用しているGo言語でのカスタムメトリックプラグイン作成用のヘルパーライブラリである、github.com/mackerelio/go-mackerel-plugin-helper を利用したプラグインの開発方法を説明します。 このヘルパーの作法に従って開発することで、グラフ定義の出力や、前回取得した値との差分値計算などを簡単に行えます。また、このヘルパーを使えば、自ずと公式プラグインと同じ作
メタデータ - Mackerel API ドキュメント (v0)
ホストメタデータの取得 ホストメタデータの登録・更新 ホストメタデータの削除 ホストメタデータの一覧 サービスメタデータの取得 サービスメタデータの登録・更新 サービスメタデータの削除 サービスメタデータの一覧 ロールメタデータの取得 ロールメタデータの登録・更新 ロールメタデータの削除 ロールメタデータの一覧 メタデータ このAPIを用いると、ホスト・サービス・ロールに任意のJSONデータを登録できます。管理用IDや、その他運用上の管理データなど、様々な情報を登録してご利用いただけます。 ネームスペースとは、メタデータの種類を特定する識別子です。例えばprojectやenvironmentなど、一貫した識別子を用いることを推奨します。メタデータの取得・登録・更新・削除のエンドポイントは一貫して以下のURLとなっています。 /api/v0/hosts/<hostId>/metadata/<
Mackerel事始め mkr(4) dashboards - vague memory
mkr v0.11.1 で dashboardsサブコマンドが追加されています。 連続リリース100週目！ダッシュボード生成ツールをリリースしました・ユーザーグループ発足 - Mackerel ブログ #mackerelio 公式に詳細説明があります。 CLIツール mkr を使う - Mackerel ヘルプ が、どういう風に見えるのかは載っていないので、説明にある内容でのダッシュボード表示を試してみます。 dashboards mkr v0.11.1 以上で dashboards コマンドを使用できます。 $ mkr help | grep -A 1 -e VERSION -e dashboards VERSION: 0.11.3 -- dashboards help, h Shows a list of commands or help for one command dashboa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Driving Mercari with 50+ custom plugins / Mackerel DAY
