Grafana の scripted dashboards を利用してダッシュボードを自動生成する - クックパッド開発者ブログ
技術部 SRE グループの鈴木 (id:eagletmt) です。 去年クックパッド開発者ブログでも紹介した hako-console の延長として、メトリクス表示に Grafana の scripted dashboards を利用するようにしているのでその紹介をしようと思います。 アプリケーション毎のダッシュボード クックパッドではダッシュボードの作成に Grafana を利用しており、主に Amazon CloudWatch と Prometheus に保存されているメトリクスを Grafana で可視化しています。それ以外にも一部開発用のメトリクスは InfluxDB に保存しており、その可視化にも Grafana が利用されています。 Grafana の variables 機能を利用すればリソースの種類毎にダッシュボードを作成することは簡単です。 ELB のロードバランサー名、
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 1
Grafana で CloudWatch を可視化してみた | DevelopersIO
はじめに こちらの記事の最後に、Grafana がデータソースとして AWS CloudWatch に対応していることに触れました。その記事の検証編です。 Grafana とは？ Grafana Labs（旧 raintank社）が OSS として開発している、メトリック分析＆可視化スイートです。 詳細については、以下のリンク先をご参照ください。 raintank is the company behind Grafana, the world's leading open source visualization software for measurement data. Bring in your other data sources and use its leading capabilities to create that perfect view. Grafana - The
ElasticSearch | Grafana Labs
Solutions All SOLUTIONS Connect any or all supported services to Grafana, and start exploring your data now.
fluentdのCPU使用率をPrometheus, Grafanaでモニタリングしたい - wyukawa's diary
fluentdはRubyで実装されていることもあり複数CPUを使えないので、トラフィックが増えてきた場合などはポートを分けて複数プロセスで起動することが一般的です。 なのでマシンごとのCPU使用率を見てもfluentdの状況がどうなのか判断することは難しいです。 ちなみにJavaだとそういうことをする必要がないしJMXもあるのでfluentdが特殊なミドルウェアなのかなという気がします。 fluentd以外でユースケースを思いつかない。 そこでfluentdのプロセスごとのCPU使用率をモニタリングしたいわけですが、どうやるかというのが今回のテーマです。 やっかいなことにfluentdはsupervisorとworkerの2プロセスあってモニタリングしたいのはworkerです。まずはworkerのpidを求めないといけないわけですが、その辺の話は省略します。 process_nameがある
GrafanaとInfluxDBでネットワークリソースの視覚化 - Qiita
Rubyスクリプトで、CiscoルータにSSHでログインして、CLIから10秒間隔でshow interface叩いて、実行結果から必要な値を正規表現で抜き出して、InfluxDBに保存して、Grafanaで視覚化してみました。 GrafanaとInfluxDBでネットワークリソースを視覚化してみました。データベースはInfluxDB、ビジュアライゼーションツールはGrafana、データ取得はRubyスクリプト＋expect4rライブラリで実装しています。 本記事はUsing InfluxDB + Grafana to Display Network Statisticsを参考にしています。データ取得にInfluxsnmpを利用していますが、今回は自作のRubyスクリプトで実行しています。 カスタマイズすると上図のようにできます。今回はデータの視覚化までの基本的なところを説明します。 目的
Sensu 復習（1）〜 Grafana 2.0 導入メモ 〜 - ようへいの日々精進XP
Sensu について復習してみたいと思う。 ということで... 復習環境に Grafana 2.0 を導入した際のメモ。 Grafana とは サイト 本家 grafana.org Github github.com スクショ 説明下手なのでスクショ一枚で。 三行で Graphite 等の時系列データベースに蓄積されたメトリクスを綺麗に見せるダッシュボード Sensu でメトリクス見るならほぼ標準 導入はとても簡単（でした） サポートする時系列データベース Graphite InfluxDB OpenTSDB 上記以外にも KariosDB や SQL も実験的にサポートされるようだ。 尚、 Elasticsearch もサポートされているが、実際に試してみたところ手元の環境で Elasticsearch のメトリクスを Grafana に表示することは出来なかった（多分、自分のやり方が悪
Sensu 復習（2）〜 OpenWeatherMap と Sensu + Grafana で熱中症対策 〜 - ようへいの日々精進XP
はじめに ムシムシとした日が福岡では続いていますがいかがお過ごしでしょうか。 既に奥さんが熱中症っぽい症状で寝込んでしまっているのを見て、旦那として看病以外で役に立てないものか思いを巡らせて辿り着いたのが、気温、湿度を収集して可視化、不快指数を計算して事前に警告する等が手元の環境で出来そうなので試してみたメモ。 OpenWeatherMap で温度と湿度を取得する OpenWeatherMap とは openweathermap.org ざっくり、無料で天気の情報を API 提供してくれる有り難いサイトで、例えば、福岡の天気は以下のようなリクエストを投げる。 $ curl -s 'http://api.openweathermap.org/data/2.5/weather?q=fukuoka-shi,jp&units=metric' | python -m json.tool 以下のような
graphite, grafana, sitespeed.io, diamond で継続 Web パフォーマンスモニタリング - Qiita
graphite, grafana, sitespeed.io, diamond で継続 Web パフォーマンスモニタリングgraphitegrafanadiamondperformancesitespeed.io Web のパフォーマンス継続モニタリング環境 intro Web の健康状態を把握するためには、きちんとしたモニタリング環境を整える必要がある。 正しくメトリクスが測定できていないと、正しくボトルネックの把握ができないし、チューニングの副作用も正しく把握できない、アプリの変更の影響もわからないし、負荷対策もできない。 単にパフォーマンスチューニングだけのためではない。が、パフォーマンスチューニングには必須、という関係。 そして、メトリクスは一回適当に取っただけでは正確とは言えず、やっぱり定期的な取得が必要になる。 この辺のノウハウは、サーバサイドではかなり成熟している。 しかし
sensuとGrafanaを連携してグラフを自動生成してみる - 雑記
sensuを使っていて何が不満だったかというと、グラフの生成なんですよね。 監視対象についてはsensu-clientsを設定して起動すれば終わりだったのに対し、グラフの生成だけは毎回ダッシュボードからぽちぽち設定する必要があったのです。これがちょーめんどくさかったのです。 どーにか方法がないかなーと考えていたら同僚の方がGrafanaのscripted dashboardsというのがあるよと教えてくれました。 これとsensu-apiを使ってグラフの生成を自動化してみます。 scripted dashboardsって？ 以下を参照。 http://grafana.org/docs/features/scripted_dashboards/ 要はJSを使ってグラフの生成を動的に実現するものです。 どうやって自動生成してるの？ おおざっぱな流れは以下の図を参照(雑です) 図の通り、sensu
JMeter の Backend Listener に InfluxDB を使ってレスポンスタイムを Grafana で可視化する - ようへいの日々精進XP
はじめに JMeter のテスト結果を Grafana とかで見れたら幸せになれそうだなーって思っていたら Backend Listener を使えばレスポンスタイムを InfluxDB と Grafana で可視化出来るよーって @muramasa64 さんに教えて貰ったので早速試してみた。 このグラフでも悪くはないんだけど...。 参考 Apache JMeter - User's Manual: Live Statistics 手順 準備 JMeter 2.13 をダウンロードしてインストール（今回は MacOS X にて試す） 負荷を掛ける対象のアプリケーション（PlayFramework）が動いている Docker コンテナを用意 InfluxDB と Grafana が動く Docker コンテナを用意 Docker コンテナの構成 % docker ps CONTAINER
可視化ツール現状確認会に参加してきました。#可視化
可視化ツール現状確認会に参加して、カジュアルウォーターじゃなくて可視化ツールの現状を確認してきました。 ということで、いつものメモです。 Mackerel と Graphite について （y_uuk1さん） Graphite 時系列 工夫すればスケーラブル SensuやCollectdと組み合わせたり GrafanaとGrapheneでGUI Mackerel素敵だよと。 架空のわかりやすいグラフが見れた Kibana & Grafana & Influga （hakoberaさん） Kibana かっこいい。 JVM大変。 Grafana Graphiteがカッコ悪いのでKibanaをフォーク なぜか、ESが必要。 InfluxDBに浮気しそう Influga @haoberaさん作 InfluxDB Queryサポート 迷ったら、Kibana入れとけ。 DistinctがKibana
dstat + fluentd + Graphite + Grafana でサーバモニタリングする - blog.nomadscafe.jp
ES + kibanaでサーバモニタリングをやってみたのですが、ESのCPU負荷がかなり高くて、リアルタイムにモニタリングできない状況だったので、graphite + grafanaにしてみた。ちなみに、ESのサーバのCPU負荷はこんな感じ。 GrafanaはGraphite用のDash boardを作るツール。最近、influxDBにも対応していてなかなか野心的。 Grafana - Graphite Dashboard kibanaをforkしただけあって、画面はそっくり。まだ修正もれがあるのか、メッセージにkibanaって文字がでてくることもある セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにGraphiteとGrafanaをいれる。環境はCentOS6 CentOS6.x - CentOSにRPMでGraphite+Diamondをインストールする -
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kafka vs Pulsar @KafkaMeetup_20180316
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件