ペパボでもオブザーバビリティ研修を実施しています - Pepabo Tech Portal
技術部の染矢です。研修中にドット絵を作っていたと思えば、いつの間にか技術研修をする側になっていました。なんとまあ、時の流れというのは恐ろしいものでしょうか。 ペパボでは今年から新卒技術研修の一環として「オブザーバビリティ研修」を実施することにしました。ペパボの中では新しい取り組みであるため、オブザーバビリティ研修のみの内容で一記事を執筆することにしました。他の研修内容も含めたまとめ記事も近いうちに公開されることでしょう。 この記事では、オブザーバビリティ研修を新卒技術研修に組み込んだ意図と、研修内容、また研修設計時に考えていたことを紹介します。 オブザーバビリティ研修を取り入れた背景 ペパボの新卒技術研修では複数の技術を学びます。WebアプリケーションフレームワークからWebフロントエンド、インフラ、機械学習など幅広い技術を、実際に手を動かしながら習得します。 昨年までの研修で、次の課題が
ざっくり理解するPrometheusを使った監視システム #1 - WILLGATE TECH BLOG
こんにちは、ウィルゲートで開発室開発基盤ユニットのマネージャーをしている池添(@for__3)です。 ウィルゲートでは2019年に監視システムをPrometheusに移行して運用して来ました。 tech.willgate.co.jp tech.willgate.co.jp ですが、社内のメンバーの入れ替わりとともにPrometheusの設定や運用を理解しているメンバーも減ってきていました。 そこで、改めてPrometheusのできることやPrometheusを使った監視の仕組みについての社内勉強会を行いました。 今回はその際の資料の一部をブログ用に修正しました。 監視システム全体の構成 Prometheus Exporter node_exporter blackbox_exporter nginx_vts_exporter proxy_exporter まとめ 監視システム全体の構成 『
zabbix-internal-checks-exporterをリリースしました - その手の平は尻もつかめるさ
github.com 表題の通りリリースいたしました． これはなに Zabbix internal checks と呼ばれる Zabbix プロセスの状態を表現するメトリクスを定期的に収集し，Prometheus のメトリクスフォーマット (i.e. OpenMetrics) で export する Prometheus exporter です．愉快ですね．皆さんも愉快に思っていただけると嬉しいです． どんなときに使うの OpenMetrics を理解できる監視コンポーネントで Zabbix を監視する時 生きていると色々ありますね． 以上です，よろしくお願いします．最近の prometheus/client_golang はめちゃめちゃ便利で良いですね． よォZabbix……テメェは今まで自分が「監視する側」だと思って良い気になってたかもしれねェがよォ……これからはテメェも「監視される側
【k8s合宿】 Kubernetesのメトリクスを取得する 〜PrometheusにGrafanaを添えて〜 - Uzabase for Engineers
こんにちは、SPEEDAのSREチームの阿南です。前回から少し時間が経ってしまいましたが、今回はKubernetesのメトリクス取得についてです。本番環境でkubernetesを運用する際、ポッドがどの程度リソースを消費しているのか、クラスター自体のリソースは大丈夫かなど常に把握しておく必要があります。ただ、Kubernetesってどう監視すればいいのって疑問ありますよね。PrometheusとかGrafanaとかよく出てきて概要は理解できるんだけど、実際どう構築すればいいの、とお悩みの方に役立つ記事にしたいと思います。ちなみに弊社ではRancher上にKubernetes環境を本番で利用していますが、大枠は今回紹介するような構成で運用しています。 構築する環境 構築手順 Kubernetesの認証方式について ConfigMap設定 Deployment設定 Service設定とポート解
PrometheusでNATを越えよう！ – 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol3~ | Nagisaのすゝめ
2017年12月13日 PrometheusでNATを越えよう！ – 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話~vol3~ PrometheusでNATを越えよう！！ どうもNagisaのインフラエンジニア 榎戸です。 ついに、Prometheus2.0がリリースされました！ もっとPrometheusユーザが増えてくれると 色々な記事が上がったりして情報が増えるので嬉しいのですが・・・ 今回も下記記事の続編ということで PrometheusのNAT越えについて書いていきます。 こちらはよく個人的に聞かれたり、 多くの人が気になっているところではないでしょうか。 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話 1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わ
Prometheus のアラートを Sentry で管理する - Qiita
Z Lab では様々なシステムの監視に Prometheus を使用しています。Prometheus からのアラート通知には Alertmanager を使用していますが、障害対応などをしていくうちに、チーム内で以下のような不満が出てきました。 アラートの履歴が時間が経つとで消えてしまい、何が起きていたのか分かりにくい どのアラートが多く発生しているかなどの集計がしにくい アラートの情報をもとに GitHub に Issue を簡単に作成したい そこで、Alertmanager の機能についてもう少し詳しく調べてみたところ、そもそも Alertmanager はアラートの通知に特化した設計になっており、永続的にアラートの情報を管理する場合は、Webhook による通知機能を利用して別のシステムにアラート情報を転送して管理するのが良いことが分かりました。 新たにアラート情報を収集して管理する
Prometheusのクエリ機能とアラート機能 | さくらのナレッジ
演算子とクエリ関数を組み合わせた複雑な統計処理を実行することも可能だ。たとえば次のクエリは、1分単位でのCPUのidle率を表示するものとなっている（図10）。 sum(delta(node_cpu{mode="idle"}[1m])) / sum(delta(node_cpu[1m])) 図10 CPUのidle率を表示した例 ここでは、指定した時間でのデータの変化量を返す「delta()」関数を使い、まず「delte(node_cpu{mode="idle"}[1m]）」で各CPUのidle時間の1分間での変化量を取得し、sum()関数でそれを合計したものを、各CPUの各時間の1分間での変化量の合計（「sum(delta(node_cpu[1m]))」）で割ることでidle時間の割合を求めている。 取得したデータの値をそのまま見たい場合、「Graph」タブではなく「Console」タブ
NextremerをScale upする機械学習環境 Shiva - Qiita
Nextremer Advent Calendar 2017 3日目の記事です Nextremer ではお手軽にGPUマシンを利用できる Shiva という機械学習の開発環境を構築しています 今回はその Shiva の開発に至った経緯とその仕組みをご紹介します Shiva の開発にあたっては、昨年RettyのCTO樽石さんが公開された Retty流『2200万ユーザを支える機械学習基盤』の作り方 を大いに参考にさせて頂きました このような貴重なノウハウを公開されていることは本当に素晴らしいですし、この記事がなければ私が Shiva を開発することはなかったです そんな樽石さん、Rettyさんへの尊敬と感謝の思いを込めて、Nextremerの Shiva についてのノウハウを公開します！ Shiva 開発に至った経緯 Nextremer の研究開発PJでは深層学習を利用した自然言語処理、強化
「Prometheus 2.0」正式版リリース。クラウドやコンテナなど動的な分散環境に対応した統合監視ツール
Prometheusはクラウド上のシステムに代表される、監視対象となるサーバが増減するような動的な分散環境システムに適した監視ツールとして開発された。2.0では時系列データベースが改善され、性能向上などを実現している。 Prometheusはアプリケーションやコンテナ、Kubernetesのようなオーケストレーションツール、OS、サーバ、ネットワークなど、システムを構成するさまざまな要素を監視対象とすることができ、メトリクスとしてCPUの負荷やメモリ、ストレージの利用率、HTTPのレイテンシなど任意の値を取得、監視できる統合監視ツールです。 状況をグラフで表示しつつ、異常を検知するとアラートを発するなど、システム監視を統合的に行うことができます。さらにリッチなビジュアライズについては「Grafana」などの外部ツールと連携可能。 Prometheusは、Dockerコンテナのオーケストレー
秋の夜長のモニタリング勉強会。自社サービスの運用監視についてガッツリ学んだ、10月のGeeks Who Drink@福岡の様子をレポート！ | 株式会社ヌーラボ(Nulab inc.)
秋の夜長のモニタリング勉強会。自社サービスの運用監視についてガッツリ学んだ、10月のGeeks Who Drink@福岡の様子をレポート！ ヌーラボ 福岡本社と東京事務所で定期的に開催されている Geeks Who Drinkは、エンジニアやプログラマーに向けた技術に関する交流会イベントです。IT企業のエンジニアやデザイナーをゲストスピーカーに招いて、自社サービスで活用されている技術を解説する、キーノートスピーチも行っています。 今回は「モニタリング勉強会 Edition」と題し、自社サービスの運用監視について福岡で学び合いました。MackerelのCREであるそーだいさんが東京から参戦してくださり、5名のスピーカーによるセッション&飛び入りLTも続出！という盛りだくさんな夜になりました。早速レポートしていきます！ イベントレポート Geeks Who Drink には、イベントのハッシュ
Prometheusによる数百台規模のモニタリングで直面した問題について | GREE Engineering
インフラの反田 (@mtanda) です。 GREEでは、多くのサービスをAWS環境で運用しており、それらサービスのモニタリングシステムとしてPrometheusを利用しています。 Prometheusを導入してから約2年がたち、1台のPrometheusで数百台規模のインスタンスをモニタリングするなかで、さまざまな問題に直面しました。 それら問題の原因を分析し、設定や利用の仕方を改善することで、ある程度安定して運用できるようになりました。 これらの知見が少しでもお役に立てばと思い、ここで共有いたします。 なお、対象とするPrometheusのバージョンは1.xです。Prometheus 2.0では、これら問題のほぼ全てに対して改善されています。そのため、2.0でどういった点が改善されているかを知るためにも有用だと思います。 Prometheusのストレージ実装の基礎知識 Promethe
PrometheusのExporter周りをまとめる - ローファイ日記
Mackerelの3周年（おめでとうございます！）、OSSではPrometheusの隆盛もあり、監視やモニタリング周りが話題になっているのを観測している。皆さんは、監視されていますか？ 個人的にも最近はロリポップ！マネージドクラウド周りの開発などでPrometheusを触っているので、今日はPrometheusの肝とも言えるExporterに関してまとめる。 Prometheusその他監視周りについて、以前、スライドも作りはしたが、割と自分向けのメモ書きに毛が生えたような感じではあったので、もう少し詳細なメモ書きを残すなど。 Exporterの選択肢について 既存Exporter 基本的に、Prometheusのコミュニティは強く、たいていの監視には既存のExporterが存在する。なのでまずはWikiのリストをチェックするのが良さそう。 prometheus.io その中でもGitHub
Prometheus を Docker for AWS にデプロイしてみた | DevelopersIO
はじめに こちらの記事で、Prometheus という OSS のシステムモニタリング＆アラート監視ツールに触れました。 Prometheus への入門を兼ねて、AWS 上の Docker Swarm にデプロイしてみたいと思います。 Prometheus とは？ もともと SoundCloud で 2012年から OSS として開発され、公開されているシステム監視＆アラートツールキットです。 2016年 Kubernetes の次のプロジェクトとしてCloud Native Computing Foundationに参加しています。 主な機能は、以下のとおりです。 多次元データモデル （メトリック名とキー/値のペアで識別される時系列） 柔軟なクエリ言語 分散ストレージに依存しない； 自律的な単一のサーバーノード 時系列のコレクションは、HTTPを介したプルモデルを介して発生します プッシ
Prometheusのストレージ - wyukawa's diary
Prometheusのストレージ周りに関してちょっと調べたのでメモっておく。 間違っているところや補足すべきものがあれば教えてもらえると嬉しいです。 公式ドキュメントはこちら https://prometheus.io/docs/operating/storage 他に参考になりそうな資料としてはこの辺 Prometheus Storage from Fabian Reinartz https://promcon.io/2016-berlin/talks/the-prometheus-time-series-database 簡単に説明するとchunkという1024bytesの固定長データをもとに処理しておりインデックスはLevelDBに保持している。 メモリにデータを保持して高速化をはかりつつ予期せぬ停止によるデータロストを最小限にするため定期的にディスクに書き出している。HBaseのよ
Prometheus: Monitoring at ABYSS
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 2017年6月5日にYahoo! JAPANのオフィスでLucene/Solr勉強会が開催されます。（パチパチ) 「記念に何か書こう、とにかく書こう、なんかこう面白いやつ、いいから書こうぜ。俺たちよ。」という上司の笑顔に勇気をもらって書きます。(๑•̀д•́๑) 要約 Solr CloudにPrometheusを導入してシステム指標を収集した事例の紹介 背景 Yahoo! JAPANでは、Solr Cloudを利用した検索の共通基盤のABYSS2（第2世代）を社内に提供しています。2017年5月時点で、100以上のサービスに利用され、サーバー数は3000近くで、仮想サーバーや、必要に応じてベアメタルサーバーを利用して運用しています
Fluentdで始めるPrometheus / Prometheus Tokyo Meetup #1
Try Prometheus with Fluentd
promethusでDocker監視(node_exporter in Container) - Qiita
環境 PrometheusはDockerコンテナ上で動かしています。 Dockerホスト：CentOS7.3 Dockerコンテナ：（prometheusサーバ）CentOS7.3 <監視対象(node_exporter)> Dockerホスト：CentOS7.3 Dockerコンテナ：CentOS7.3 (Webサーバを想定してApacheを起動） 前提条件 root実行を前提とします。 Dockerホスト上のコマンドは#、コンテナ上のコマンドは## とします。 Prometheus はDockerコンテナ上にインストールが完了した状態で、ブラウザでlocalhost:9090 にて自ホストのグラフが見える状態から始めます。こちらの環境構築が終わった状態です。 PrometheusをCentOS7.3＆Docker上にインストールしてみた ソースを落としてmake する方法もありますが、
AbemaTVにPrometheusというモニタリングシステムを導入した話
この記事はCyberAgent Developers Advent Calendar 2016 24日目の記事です。23日目はdekatotoroさんの「Apple TV – tvOS入門」でした。 こんにちは、AbemaTVサーバサイドエンジニアのギアです。 去年は新卒のiOSエンジニアとして、「ReactiveCocoaとMVVMモデル」という記事を書きましたが、今年はサーバサイドに関することを書きます。 はじめに この前にAbemaTVはモニタリング・アラートのため、主にStackdriver, Bugsnag, StatusCakeというサービスを使っています。しかし、Stackdriverはデフォルトである程度のGCP (Google Cloud Platform) 上のリソースに対するメトリクスしかありません。各マイクサービス間の通信やサービスのカスタマイズメトリクスなどのアプ
The History of etcd | CoreOS
Red Hat Enterprise Linux 8.8 and 9.2 leverage Intel’s 5th Gen of features including higher cpu count, faster DDR5 memory, larger 3rd level caches, improved interprocessor bandwidth, and complete implementation of Intel’s Advanced Matrix Extensions. Included in this blog are two new Dell SAP HANA BW...
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Monitor Docker for Mac and Windows