Awesome Prometheus alerts
⚠️ Caution ⚠️ Alert thresholds depend on nature of applications. Some queries in this page may have arbitrary tolerance threshold. Building an efficient and battle-tested monitoring platform takes time. 😉 # 1.1. Prometheus self-monitoring (28 rules) [copy section] $ wget https://raw.githubusercontent.com/samber/awesome-prometheus-alerts/master/dist/rules/prometheus-self-monitoring/embedded-export
特定のページが更新されたら通知する仕組みを作ってみた - Qiita
はじめに RSS対応のサイトだと、更新情報追いやすいけど、RSS非対応のページも追いたいよね。って人向けの記事です。 RSS対応しているサイトなら、RSSリーダーを使った方が早いです また、Discordのチャンネルにも通知がしたかったので、メールとDiscord両方に通知を行っています。 Discord側にWebhook用のURLが必要ですが、本記事では紹介しません 参考サイトのZennの記事が細かく書かれていますので、そちらをご覧ください なお、この仕組みは更新を検知したいサイトに確認リクエストを送ります。 高頻度で設定してしまうと、サーバーに負荷がかかる為、 高頻度での設定はしないようにお願いします 参考サイト 構成図 コードについて(Lambda) コードについては、基本的に、クラスメソッドさんの記事を参考にしています Discordの通知部分については、AmazonBedrock
【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ
『オブザーバビリティ・エンジニアリング』で学ぶ”既知の未知”と、”未知の未知”との付き合い方 - Magnolia Tech
2023/2/4 書名のコピペをミスって間違っていました…直しました すいません＞各位 オブザーバビリティ・エンジニアリング 作者:Charity Majors,Liz Fong-Jones,George MirandaオライリージャパンAmazon オブザーバビリティィィィィィイ！！！！！ なんか必殺技の名前っぽいですよね、オブザーバビリティ。 リング状のエネルギーが放出されて、回転しながら相手を切り刻むイメージです。 そんなことはサテオキ この現代、バラバラに設計された、断片的な情報しか教えてくれないアプリケーションログと、よく分からない閾値に基づいた監視メトリクスと、設計意図の分からないダッシュボードと、運用メンバの経験と勘で運用するのは限界があるよなーというのは、全システム運用者の共通の課題認識ではないでしょうか。 そんな課題へのヒントがあればなーと思って、『オブザーバビリティ・エ
システムの負荷の原因を切り分ける方法 - Qiita
サーバのボトルネックを探る サーバが重い時、主に以下の4つがボトルネックとなる。 CPU使用率 メモリ使用量 ディスクI/O TCPコネクション数 この記事では、これらのうちどれがボトルネックとなっているかを突き止める方法について書く。 ロードアベレージを見る まずはロードアベレージを見ることで、おおまかに問題を切り分ける。 ロードアベレージの確認方法はload averageを見てシステムの負荷を確認するに書いた。 ロードアベレージが高い場合 現在のホストの「1. CPU使用率」, 「2. メモリ使用率」, 「3. ディスクI/O」を疑う。 ロードアベレージが1以下であれば軽く、1〜3くらいだとやや重く、それ以上だとこれらがボトルネックの可能性が高い。 ロードアベレージが低い場合 「4. TCPコネクション数」か、リモートホストがボトルネックになっていないか疑う。 特定のホストの問題を解
Dockerをモニタリングする - Mackerel ヘルプ
Docker( https://www.docker.com/ )をモニタリングする方法を紹介します。 Dockerコンテナの消費リソースを把握するには、Dockerが利用しているリソースの統計情報を参照します。 Dockerのリソースの統計情報はAPI( https://docs.docker.com/engine/reference/api/docker_remote_api/ )を利用して取得します。 また後方互換性のためにcgroupのファイルシステム経由でメトリックすることもできますが、現在は非推奨です。 技術的な詳細は公式ドキュメント(https://docs.docker.com/engine/admin/runmetrics/)を参照してください。 mackerel-plugin-dockerを利用する Mackerelではmackerel-plugin-dockerを利用
Mackerelの`check-log`プラグインでエラーの内容も取得する - Qiita
check-logプラグインについて サーバー監視のSaaSであるMackerelは, 公式が提供するプラグインを利用することで, サーバー上にある様々なリソースや情報を監視することができます. その中の1つが, ログ監視を行うcheck-logです. このプラグインを使えば, サーバ上に存在する任意のログファイルを監視し, そこに指定した文字列が出現した場合にアラートを発生させることができます. 例えば, mackerel-agent.confに次のように書いておけば, /var/log/myapp/app.logに, [CRITICAL]というログが書き込まれた時, アラートを発生させることができます. [plugin.checks.app] command = "check-log --file /var/log/myapp/app.log --pattern '\\[CRITICA
ログ監視をおこなう - Mackerel ヘルプ
公式チェックプラグイン集の check-log を使ってログ監視をおこなえます。公式チェックプラグイン集のインストールは、チェック監視に公式チェックプラグイン集を使う をごらんください。 check-log の使い方 check-logを使ってログ監視をおこなうためには例えば以下のように mackerel-agent.conf に記述し、mackerel-agentを再起動します。 [plugin.checks.access_log] command = ["check-log", "--file", "/var/log/access.log", "--pattern", "FATAL"] Windows Server 環境の場合は、以下のように記述します（ログファイル C:\log\access.log を対象にログ監視する場合。対象ログファイルにBOM（バイトオーダーマーク）が付与され
【OSS技術コラム】第2回 Zabbixログ監視の仕様で知っておきたいこと｜特集・コラム｜ITシステム運用のCTCシステムマネジメント株式会社（CTCS）
第1回目でお話ししました、便利なOSSの監視ツールZabbixを使いこなして頂けるよう過去の経験から気づいた留意点や改善ポイントについてコラム形式で解説しています。 1.ログ監視検知・収集の仕様 2.ログファイル読込みの仕様 3.Zabbixログ監視をうまく使いこなし運用するために 1.ログ監視検知・収集の仕様 Zabbix も他の監視ツールと同じくログ監視機能を有しています。 ログファイルに書き込まれる「error」などのキーワードをZabbixエージェントが定期的にチェックして、対象文字列を発見すると障害イベントを通知するというものです。 ログ監視設定について ログ監視に限らずですが、Zabbixの監視設定は大きく分けてアイテムとトリガーという2つの設定で行います。アイテムは監視項目を設定し、トリガーは障害判定設定を行います。アイテムという単位で監視対象(CPUの使用率やプロセス名など
Azure Monitor を使用して Python アプリを監視する - Azure Monitor
Note OpenTelemetry では OpenCensus の廃止が発表されました。 Azure では引き続き Python OpenCensus SDK がサポートされ、少なくとも 1 年前の事前通知がない場合はサポートを終了しません。 OpenTelemetry ベースの Python オファリングは、Python アプリケーションの現在推奨されているソリューションです。 Azure Monitor では、Python アプリケーションの分散トレース、メトリック収集、およびログ記録がサポートされています。 Microsoft でサポートされている、Python アプリケーションのデータの追跡とエクスポートを行うソリューションは、Azure Monitor エクスポーターを介した OpenCensus Python SDK です。 Microsoft では、Python 用の他のテ
Sentryのパフォーマンス監視機能とPythonで使える便利設定 — HACK The Nikkei
この記事はNikkei Advent Calendar 2021の24日目の記事です。 こんにちは。エンジニアの成田です。 API・バックエンドチームとして日本経済新聞LINE公式アカウントのバックエンドサーバやレコメンドAPIなどの開発などを担当しています。 今回はSentryのパフォーマンス監視機能について概要を紹介したあと、Pythonで使用する場合の便利な設定、そして 実際に社内でチューニングの際にどのような使用したかの簡単な例を紹介をします。 概要 Sentryといえばエラー監視ツールとしての印象が強い方が多いと思います。2020年7月からJavascriptとPython向けにパフォーマンス監視機能を提供し、その後も対応言語や機能を増やしています。 日経でも、バックエンド・フロント問わず多くのプロジェクトがSentry導入しており、主にエラーを検知してSlackにアラートを送る
Datadogの活用ノウハウを一挙に公開・それを支える全社管理者の工夫とは #datadog_japan_meetup - ZOZO TECH BLOG
こんにちは。ECプラットフォーム基盤SREブロックの高塚と巣立（@tmrekk_）です。 ZOZOTOWNはクラウド化・マイクロサービス化を進める中で、監視SaaSのDatadogを採用しました。この数年で多くの知見が蓄積され、今では様々なシーンでDatadogを活用しています。この記事ではそのノウハウを惜しみなく公開します。 ※本記事は、先日開催されたDatadog Japan Meetup 2022 Summerにて発表した内容を書き起こして再構成したものです。 当日の発表資料 speakerdeck.com 目次 当日の発表資料 目次 はじめに マイクロサービス基盤に必要な監視の要件 第1部 ZOZOTOWNにおけるDatadogの活用 1. どこで障害が起こっているのか分からない → APM 2. アラートやダッシュボードや外形監視が欲しい → Monitors, Dashboar
障害発生時に担当者へのオンコールを自動化「Grafana OnCall」がオープンソースで公開
クラウド対応のログ可視化ツールとして知られる「Grafana」や監視システム「Prometheus」などを開発し提供するGrafana Labsは、障害発生時に担当者へのオンコールを自動化できるオンコールマネジメントソフトウェア「Grafana OnCall」をオープンソースで公開したことを明らかにしました。 Introducing the newest member of our open source family: Grafana OnCall OSS brings on-call management to the open source community #grafanaconline #oncallmanagement https://t.co/Nkq8frQx2r — Grafana (@grafana) June 14, 2022 Grafana OnCallは、昨年（2
オンコールアラートアンチパターン - ださろぐ@はてな
オンコールアラートを設定しようと考えた際に考慮すべき点を自分なりにアンチパターンとしてまとめたなにかです。 ホワイトボックスモニタリングにより得られたメトリクス、ログなどからアラーティングを行う、または併用する環境を想定しています、ブラックボックスモニタリングによるアラート、SLOベースのアラートのみでうまく運用されているサービスにはあてはまらないと考えてます。 参考書籍は色々あり、最後に記載していますが提示されてるプラクティス通りではないものもあります 。自組織、システムにあった設計をしましょう。 システムの監視がまったくありませんみたいな状況であればまずはサービスのURLに対する外形監視からはじめましょう。 言葉の定義 アンチパターン サービスに対する外形監視が設定されていない アラートを受け取って直ちに何かアクションを行う必要がない アラートに対応するrunbookが存在しない 自動
Software Design連載 2022年1月号 運用監視の解像度アップとサービス横断的なログ基盤の整備 - MonotaRO Tech Blog
こんにちは。中山(id:yoichi22) です Software Designに連載させていただいております「Pythonモダン化計画」では、モノタロウの社内事例から読者の皆様のお役に立ちそうな取り組みを紹介させていただいています。のですが、社内でも隣のチームがやってた取り組みを記事で初めて知ることもあって、私も読者として楽しませてもらっています。隣の執筆者さんありがとうございます。 今回は、運用にまつわる監視とログの話題です。本記事の初出は、Software Design2022年1月号「Pythonモダン化計画（第6回）」になります。過去の連載記事は以下を参照ください。 第1回 Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか 第2回 Software Design連載 2021年9月号 「テストが無い」からの
弾圧が行われているとされる新疆ウイグル自治区で、実際に何が行われているのか？──『ＡＩ監獄ウイグル』 - 基本読書
ＡＩ監獄ウイグル 作者:ジェフリー・ケイン新潮社Amazonこの『ＡＩ監獄ウイグル』は、近年弾圧が激しくなっているとされるウイグルで、実際に何が行われているのか、150人以上のウイグル人の難民、技術労働者、政府関係者、元中国人スパイにインタビュー取材をしその結果をまとめた一冊になっている。 本書で描き出されているのは、チャットアプリによるメッセージや電話がすべて監視され、家の前には個人情報が詰まったQRコードが貼られ、身体情報から移動履歴などすべてのデータを元に犯罪を起こす可能性のある人物をＡＩが自動的にピックアップする「デジタルの牢獄化」したウイグルの姿である。これまで、断片的なニュース情報を読むことでウイグルで相当なことが行われていることはわかっていたつもりだったが、実際に収容所などを体験した人物のレポートはあまりにも衝撃的だ。 読み終えた夜は、自分が強制収容所に入っている悪夢を見たぐ
datadogにpython, DogStatsD経由でMetricsを送り込んでみる - Qiita
はじめに datadogとはSaaS形式のサーバの運用監視ツールです 監視対象の各種サーバから各メトリクスをdatadogに送ることにより、 ブラウザ上で様々な分析ができます。 datadogは、各サーバのリソースやアプリケーションの実行回数・TATをdatadogに送信してくれるエージェントを提供してくれていますが、今回この記事ではpythonで特定の値をdatadogに送信し続けるスクリプトを作ってみようと思います。 データベースの特定のテーブルのデータ量を送り続けるとか、シェルスクリプトの実行回数を送るなど、活用用途はいろいろ考えられると思います。 前提 python3を利用 Metricsを送り込むスクリプトの作成 DogStatsDサーバ経由でMetricsを送り込んでみます datadogライブラリのインストール pip3 install datadog サンプルスクリプト i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネットワーク機器の死活監視や遠隔での再起動が可能な自動リブートタップ「T1901」、ラトックシステムが販売 
「入門 監視」5年を経て変わったこと、変わらないこと / Fundamental principles in Practical Monitoring
~スタートアップの人たちに捧ぐ~ 監視再入門 in AWS
