Who murdered my lovely Prometheus container in Kubernetes cluster?
As of October 1, 2023, LINE has been rebranded as LY Corporation. Visit the new blog of LY Corporation here: LY Corporation Tech Blog This blog post is about an interesting experience I had while investigating and resolving a problem that happened in the Prometheus container which was still in the CrashLoopBackoff state. The phenomenon itself and the solution are obvious and simple; so simple that
Grafanaのパネルの作り方 - Carpe Diem
概要 Prometheus + GrafanaではPromQLを使って柔軟なパネルが作成できる一方、作り方が複雑になりがちです。 今回は基本的なパネルの作り方を説明します。 環境 Grafana 6.2.5 Prometheus 2.11.1 パネル Grafanaのダッシュボードのパネルは大きく10あります。 グラフ シングルスタット ゲージ バーゲージ テーブル テキスト ヒートマップ アラートリスト ダッシュボードリスト プラグインリスト 今回はよく使う グラフ シングルスタット の２つを説明します。 グラフパネル 名前の通りグラフを表示するためのパネルです。一番良く使うことになります。 例としてプロセスのメモリを表示します。 Query クエリを設定します。 process_resident_memory_bytesを指定します。このように補完が効いて便利ですね。 指定するとすぐに
Prometheusで本番環境の監視をして3か月経ちました - WILLGATE TECH BLOG
本番環境の監視をZABBIXからPrometheusに切り替えてから3か月程度経過しました。 今回は Prometheus 導入に関してハマったところ 現在のPrometheus活用状況 といった所を紹介したいと思います。 「Prometheusって何？」という方はこちらをご覧ください。 tech.willgate.co.jp Prometheus導入でハマったところ メール送信設定 Rプロキシ経由にする 現在のPrometheus活用状況 現在の構成 ECインスタンスの監視 設定のバージョン管理 種類豊富なexporter 柔軟なPromQL Grafanaとの組み合わせ まとめ その後の取り組み（2019/11/12 追記） Prometheus導入でハマったところ 紹介するところ以外でも色んなところでハマったのですが、代表的なところを紹介します。 メール送信設定 Alertmanag
LIFULLが主要サービスの(ほぼ)全てをKubernetesに移行するまで - LIFULL Creators Blog
技術開発部の相原です。好きな --feature-gates はServiceTopologyです。 この記事はLIFULLアドベントカレンダーの16日目です。 去年のエントリではIstio を本番環境に導入するまでと題して、私のチームが進めているアプリケーション実行基盤刷新プロジェクトでのIstioの導入についてお伝えしました。 移行に至るまでの経緯などはそのエントリをご覧ください。 あれからしばらくが経ち、ようやく主要サービスの(ほぼ)全てをKubernetesに移行することができましたので今回は移行を実現するまでに行った取り組みを紹介したいと思います。 移行にあたってやったこと 健全化 構成の見直し アプリケーションサーバの見直し Containerize SIGTERMへの対応 環境ごとの値を外から与えられるように 可観測性の向上 Prometheus Exporter実装による可
なぜPrometheusを辞めてDatadogを採用したのか - ABEJA Tech Blog
こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは Datadog Advent Calendar 2019 の8日目です。 今日は ABEJA Platform というプロダクトで、なぜ Prometheus から Datadog に変えたのか。というお話したいと思います。 一人の方でも採用基準の参考になればと思います。 第一フェーズ：実は元々Datadogを使っていた 実は Prometheus の前は Datadog を使っていました。 なぜ Datadog を使っていたかというと、Za○bix や Na○ios などは古い思想なので使う気になれなかったという単純な理由です。 ただ、 Datadog は $18/host という値段で 当初は数十台だったので数万円ほど発生していました。やはり少し高いなという印象です。 第二フェーズ：Promethe
Prometheus setup with long term storage
IAMロールはどこから来て、どこへ行くのか / Where do IAM rolls come from and where to go?
クラウド時代の監視ツールDatadogをあらためて紹介します - ZOZO TECH BLOG
こんにちは。zozoフロントエンド部の大平です。さだまさし好きが昂じて社内では「さださん」と呼ばれています。 計測してますか？ 皆さん計測していますか？ 何かを改善しようとした場合、パフォーマンスを数値化し、その内容をもとに改善案を考えて行動することが、基本的な取り組み方になります。 そして、いかに現状を測定可能な状態にし数値化可能な指標を設定するか、という事が取り組みの第一歩になります。ダイエットや体質改善でもそうですし、英語など語学学習でもそうだと思います。 ということで、計測はとても大事です。 私事ですが、私は最近さだまさしさんのファンが集うコミュニティに参加しています。古くからのファンの方々はさだまさしさんのデビュー時からずっと追っかけている猛者も多く、私みたいな若輩者の青二才は圧倒的な「さだ力」の不足を感じる毎日です。 最近、コミュニティの中で「楽曲検定」というサイトが流行しまし
GKEでなるべく安くKubernetesクラスタを作成してPrometheus + Grafanaを使ってみる Part2 -Ingress編- - Qiita
GKEでなるべく安くKubernetesクラスタを作成してPrometheus + Grafanaを使ってみる Part2 -Ingress編-kubernetesGKEGoogleCloud タイトルの通りGKE (Google Kubernetes Engine)でKubernetesクラスタを作成して、その上でPrometheusとGrafanaを動かしてみます。 前回クラスタを作成したので今回はIngressを追加します。 Ingressを追加することで、クラスタ内のサービスにインターネットからアクセスできるようになります。 はじめに Ingressは普通にGKEで作成すると、Ingress ControllerがGCPのロードバランサーを作成します。 しかしこれが高い…。月額18ドルも掛かります。 そこでGCPのロードバランサーの代わりにnginx-ingressというNGINX
CNCF、Prometheus as a ServiceのCortexをサンドボックスプロジェクトとして採用
CNCFはWeaveworksが開発を進めるPrometheus as a ServiceのCortexを、サンドボックスプロジェクトとして採用。コンテナ監視のスケールアウトを目指す。 クラウドネイティブなコンピューティングを実現するためのソフトウェアスタックを推進するCloud Native Computing Foundation（以下、CNCF）は、マルチテナント型のモニタリングサービスを実現するCortexを、サンドボックスプロジェクトとして採用したことを発表した。 参考：CNCFのリリース：CNCF To Host Cortex in the Sandbox これはWeaveworksが開発を進めている監視ソリューションであるCortexを、CNCFのプロジェクトとしてホストすることを決定したというものだ。 Weaveworksのブログにあった言葉を用いてシンプルに表現すると、C
Cloudprober: open source black-box monitoring software
The latest news from Google on open source releases, major projects, events, and student outreach programs. Ever wonder if users can actually access your microservices? Observe timeouts in your applications, and not sure if it's the network or if your servers are too busy? Curious about the 99%-ile network latency between your on-premise data center and services running in the cloud? Cloudprober,
M3: Uber’s Open Source, Large-scale Metrics Platform for Prometheus
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more To facilitate the growth of Uber’s global operations, we need to be able to quickly store and access billions of metrics on our back-end systems at any given time. As part of our robust and scalable metrics infrastructure, we built M3, a metrics platform that has been i
Prometheusの冗長化について公式のスタンス - 蒼の王座・裏口
Prometheusをどうやって冗長構成を組むか一度は悩むのではないでしょうか。 公式ドキュメントを見ても、冗長構成の組み方には言及がされていないように見えます。 Prometheusの冗長構成については、Githubのissuesで公式見解が語られていますので紹介します。 For HA, simply run the two Prometheus servers independently with the same configuration. They’ll have the same data, modulo sample timings. 潔いスタンスですね。 別々に2つのPrometheusを構築して、同じ構成ファイルで動かしましょう。同じデータになるよとのこと。 クエリ発行先を片方にして、何か問題が発生すればもう片方にスイッチさせる。 DNSのCNAMEを使って切り替えるのが
Vistio — Visualize your Istio Mesh Using Netflix’s Vizceral
Vistio DemoVizceral is an open source project released by Netflix to monitor network traffic between applications and clusters in near real time. Vistio is an adaptation of Vizceral for Istio and mesh monitoring. It utilizes metrics generated by Istio Mixer which are then fed into Prometheus. Vistio queries Prometheus and stores that data locally to allow for the replaying of traffic. There are tw
Prometheus と Grafana で Nomad メトリクスの可視化 - Usual Software Engineer
前回つくった Vagrant の VM 上の Nomad と Traefik のサンプルを使用して、 Nomad のメトリクスを可視化してみます。 innossh.hatenablog.com またも記事書くのが遅れてしまいましたが、エイプリルフールに続いてゴールデンウィークなので許してください。 さて、今回は Nomad のメトリクスを可視化するための例として、 Nomad と Prometheus と Grafana の連携方法を紹介します。 Nomad 上で何個のコンテナが動作していて、それぞれのコンテナの使用メモリはどれぐらいなのかなど、 Nomad を運用しているとそのメトリクスの可視化が気になるところです。 公式ドキュメントでは Nomad の Telemetry の設定として、 statsite, statsd, datadog, prometheus, circonus な
Get Kubernetes Cluster Metrics with Prometheus in 5 Minutes
kubernetes, monitoring, prometheus Get Kubernetes Cluster Metrics with Prometheus in 5 Minutes Last update: February 10, 2019 To have a Kubernetes cluster up and running is pretty easy these days. However, when you start to use it and deploy some applications, you might expect some issues over time. Kubernetes being a distributed system is not easy to troubleshoot. You need a proper monitoring sol
PrometheusのExporter周りをまとめる - ローファイ日記
Mackerelの3周年（おめでとうございます！）、OSSではPrometheusの隆盛もあり、監視やモニタリング周りが話題になっているのを観測している。皆さんは、監視されていますか？ 個人的にも最近はロリポップ！マネージドクラウド周りの開発などでPrometheusを触っているので、今日はPrometheusの肝とも言えるExporterに関してまとめる。 Prometheusその他監視周りについて、以前、スライドも作りはしたが、割と自分向けのメモ書きに毛が生えたような感じではあったので、もう少し詳細なメモ書きを残すなど。 Exporterの選択肢について 既存Exporter 基本的に、Prometheusのコミュニティは強く、たいていの監視には既存のExporterが存在する。なのでまずはWikiのリストをチェックするのが良さそう。 prometheus.io その中でもGitHub
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Replex is now part of Cisco AppDynamics
Hello, Prometheus!! Goで作るexporter自作入門 / 180727 LT
Uberが独自の大規模メトリクスプラットフォームM3をオープンソースとして公開
M3: Open Source Metrics Engine