時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
Elasticsearch の JVM のヒープ使用量を Graphite / Grafana で可視化するちょっとしたスクリプト - ようへいの日々精進XP
Elasticsearch の JVM ヒープ使用量を Graphite と Grafana を利用して可視化したいと思ったので Cluster API と Python を利用して実現してみた。 Cluster API Cluster APIs の Nodes Stats を利用するので curl を利用して取得してみる。 実際に叩いてみる。 $ curl -XGET 'http://localhost:9200/_nodes/stats/jvm?pretty=true' { "cluster_name" : "kappa-elasticsearch", "nodes" : { "RiQNuftXTIO2fiX4GJjO4w" : { "timestamp" : 1435845867712, "name" : "node2", "transport_address" : "inet[/x
#cto_sushi でChangeLogを追う技術、Sitespeed.io、DDDなどの話をした
#cto_sushiでChangeLogやIssueを追う技術、reftest、GitHubスパムなどについて話してきた。(この中に現在CTOはいなかった気がします) ログ: #cto_sushi - Togetterまとめ 久々に を食べるSushiイベントだった気がします。 これからの Web について真剣に議論している。 #cto_sushi pic.twitter.com/c3xXrkasVi — Jxck (@Jxck_) May 26, 2015 #cto_sushi pic.twitter.com/oAts18i7O3 — Yosuke FURUKAWA (@yosuke_furukawa) May 26, 2015 クリップボード API - kyo_ago 机が埋まる前にLTスタート。 クリップボードについて kyo_ago #cto_sushi — azu (@azu_
graphite, grafana, sitespeed.io, diamond で継続 Web パフォーマンスモニタリング - Qiita
graphite, grafana, sitespeed.io, diamond で継続 Web パフォーマンスモニタリングgraphitegrafanadiamondperformancesitespeed.io Web のパフォーマンス継続モニタリング環境 intro Web の健康状態を把握するためには、きちんとしたモニタリング環境を整える必要がある。 正しくメトリクスが測定できていないと、正しくボトルネックの把握ができないし、チューニングの副作用も正しく把握できない、アプリの変更の影響もわからないし、負荷対策もできない。 単にパフォーマンスチューニングだけのためではない。が、パフォーマンスチューニングには必須、という関係。 そして、メトリクスは一回適当に取っただけでは正確とは言えず、やっぱり定期的な取得が必要になる。 この辺のノウハウは、サーバサイドではかなり成熟している。 しかし
Mackerelを支える時系列データベース技術 - ゆううきブログ
【追記 2018/01/06】現在Mackerelは、時系列データベースという概念をクラウドの技で再構築する - ゆううきブログの時系列データベース実装へ移行しています。 サーバモニタリングサービス Mackerel で採用している時系列データベース Graphite を用いたシステムの構築と運用事情を紹介します。Graphiteについては、プロビジョニングやアプリケーションからの使い方、Graphite自体のモニタリングなど様々なトピックがありますが、特に大規模ならではのトピックとして、Graphiteの内部アーキテクチャ、パフォーマンスチューニングおよびクラスタ構成についての知見を書きます。 背景 Graphiteシステム概観 データ構造とアーキテクチャ whisperのデータ構造 carbon-cacheのアーキテクチャ パフォーマンス特性 パフォーマンスチューニング ミドルウェアレ
Prometheus: Go言語で書かれたモニタリングシステム - ワザノバ | wazanova
https://developers.soundcloud.com/blog/prometheus-monitoring-at-soundcloud 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 Prometheusは、SoundCloudが中心となって開発を進めているオープンソースのプロジェクト。Dockerの社内でもメインのモニタリングシステムとして利用されているようです。 各社のブログのエントリーから、その特徴をまとめると。 多元データモデルとそれを活かす柔軟なクエリ言語 全てのデータにタイムスタンプのある、OpenTSDBに準じたデータモデル。 http_response_500_totalやhttp_response_403_totalなどHTTPレスポンスのステータスごとに用意しなくても
Sensu と Graphite による大規模インフラの監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージといった全社的なインフラの管理運用や調査検証などを担当しています。 今回は、2013年に全社のプライベートクラウドとして導入した OpenStack の監視基盤として、OSS の Sensu と Graphite を採用した事例についてご紹介したいと思います。 採用に至るまで サイトオペレーション本部では、もともと 2011 年から内製のプライベートクラウドを開発運用していました。 プライベートクラウドでは VM のホストとなるハイパーバイザを大量に運用する必要がありますが、その監視基盤として社内で一般的に利用され
zabbixで運用していた人間がsensuを触ってみた感想 - 右往左往ブログ
zabbixでシステム運用に関わっている人間が、sensuを使った運用にチャレンジした話です。 結論としては、運用に本格的に入る前に、sensuの導入を断念しました。 sensuとは sensuは、クラウド環境に親和性の高い監視・モニタリングソフトウェアです。 http://sensuapp.org/ 大まかなポイントは以下だと思います。 Chefやpuppetで簡単に導入できる community pluginが豊富 設定が全てコードで記載されている。変更するときもjsonファイルの書き換え クライアント側からサーバへ通知して監視が始まる(サーバ側にクライアントの定義が必要ない) → AWS EC2のようなImmutableに扱う環境で便利 詳細は以下の記事が詳しいです。 【DevOpsDays Tokyo 2013】クラウド時代のモニタリングツール、UNIXの思想が息づくsensuチュ
ヘビーなGraphite運用について - ゆううきブログ
"Monitoring Casual Talks #6"に参加して、「ヘビーなGraphite運用」についてしゃべってきた。 Graphite ここ数ヶ月ずっと運用してて、そこそこのリクエスト数さばけるようになるまでと冗長化の話をだいたいしてた。 Graphiteのパフォーマンス・チューニングで結構苦労してて、@sonots さんが発表されてた"GrowthForecast/RRDtool チューニング秘伝の書" がすごい参考になった。（Graphite(whisper) のデータ構造と RRdtool のデータ構造はよく似ている。） fadvise(2)とか知らなかった。 ぜひ試してみたい。 スライド 結構口頭で補足してた。Graphite 秘伝の書書きたい。 感想 今回の勉強会、かなり刺さる内容が揃っててよかった。 形式が30~100人くらいいて、数人の発表者がプレゼンするっていう感じ
可視化ツール現状確認会に参加してきました。#可視化
可視化ツール現状確認会に参加して、カジュアルウォーターじゃなくて可視化ツールの現状を確認してきました。 ということで、いつものメモです。 Mackerel と Graphite について （y_uuk1さん） Graphite 時系列 工夫すればスケーラブル SensuやCollectdと組み合わせたり GrafanaとGrapheneでGUI Mackerel素敵だよと。 架空のわかりやすいグラフが見れた Kibana & Grafana & Influga （hakoberaさん） Kibana かっこいい。 JVM大変。 Grafana Graphiteがカッコ悪いのでKibanaをフォーク なぜか、ESが必要。 InfluxDBに浮気しそう Influga @haoberaさん作 InfluxDB Queryサポート 迷ったら、Kibana入れとけ。 DistinctがKibana
fluent-plugin-graphite を書いたよ - Studio3104::BLOG.new
graphite にメトリクスをポストする fluent-plugin を書きました 先に github で公開されていた fluent-plugin-graphite がありましたが、イチから書いて gem release いたしました https://github.com/studio3104/fluent-plugin-graphite http://rubygems.org/gems/fluent-plugin-graphite なぜイチから書いたのか 以下のような箇所に懸念があり、修正だと結局まるっと書き直すのと変わらないと思いイチから書いてしまいました 先行プラグインは、 Fluent::BufferedOutput を継承し、内部でサンプリングやカウントなどの計算をしていたが、そういうのは他のプラグインに任せて、来た値をそのまま投げてあげればいいのではないかと思った レコード
sensu と Graphite を連携させる為の試行錯誤メモ - ようへいの日々精進XP
はじめに 自分でも整理が出来ていないがとりあえずのメモ 検証の環境は Amazon Linux 参考 モニカジ京都に参加して、SensuとGraphiteの話をしました #monitoringcasual graphiteのインストール Graphite をとりあえずはじめる Graphite って？ こちらを参考にさせて頂いて個人的に整理。 django*1 アプリのフロントエンド（graphite-web）と carbon というバックエンドで構成される graphite-web は Graphite のフロントエンドで django によるウェブアプリ carbon は Graphite のバックエンド whisper は DB ライブラリ Graphite の導入（パッケージのインストール） sudo yum remove httpd24* sudo yum --enablerep
システムの状況を可視化するGraphiteとともに使いたい·Giraffe MOONGIFT
GiraffeはGraphiteのグラフをより見やすくフレキシブルにしてくれるソフトウェアです。 システムのステータスなどをグラフ化してリアルタイムモニタリングできるツールは多数ありますが、その一つであるGraphiteのUIを見栄えよくしてくれるのがGiraffeです。 ダッシュボードです。 データをシリーズごとにフィルタリングできます。 見た目の設定も行えます。 Giraffeは10分程度から7週間程度まで自由に時間を区切ったり、データのシリーズを切り替えたりできます。データはGraphiteのものを使っているのでGiraffe自体はサーバサイドの仕組みを持っていません。面白いソフトウェアです。 GiraffeはHTML/JavaScript製、MIT Licenseのオープンソース・ソフトウェアです。 MOONGIFTはこう見る この手のツールとしてはmuninなどが知られています。
Cactiを捨ててGraphiteを使うべき理由 - happy_siro's blog
導入がひと通り完了したので、Graphiteについて情報を出していくよ。 最初は、Graphiteって一体なんなのか、についてまとめる。 Graphiteって Graphiteってのは、一言で表すと「収集した情報をグラフにするソフトウェア郡」のことだ。 Graphiteは下記のソフトウェアから構成される。 1. graphite-web 2. carbon graphite-web graphite-webとは、実際にグラフを表示する部分だ。 正直、UIの出来はあまり良くない。 こいつの一番の売りは、APIを利用してグラフの見た目をカスタマイズしたり、統計処理をかけられるところにある。 下記に、APIをまとめたページが有る。英語であるが、何となくわかると思う。 https://graphite.readthedocs.org/en/latest/render_api.html このAPIを
Evernote Blog � Blog Archive � New updates to Web and Windows
에버노트에 뭐가 새로워요?에버노트에서 무슨 일이 일어나고 있는지 궁금하신가요? 아래의 기사들을 확인하여 우리가 작업 중인 흥미로운 것들을 모두 볼 수 있습니다. 새로운 소식레거시 버전 Evernote 앱 사용 중지2024년 3월 26일, 저희는 레거시 버전 Evernote 앱에 작별을 고합니다. v10 이전의 Evernote 경험을 단일화하면 보안 수준을 크게 높이고 더 빠른 개발을 위해 더 많은 자원을 투입할 수 있습니다. 더 읽기 14가지 주요 기능이 이제 모든 사용자에게 제공됩니다이 중요한 Evernote 기능들은 검색, 첨부 관리, 노트 액세스 등 핵심적인 제품 성능을 높여줍니다. 이제 누구나 그 기능을 사용해 Evernote의 잠재성을 최대한 활용할 수 있습니다.
Collecting metrics with Graphite and StatsD
Do you gather metrics from your application? Can you combine them and easily generate custom graphs out of them? Can your developers measure whatever they want at any point of your application without breaking it or making it slower? In our next itnig friday, Víctor Martínez will show us how easy it is to roll on your own Graphite installation and how to use Etsy's statsd collector to flush your m
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件
PDX DevOps Graphite replacement
SSSSLIDE
https://qiita.com/inokappa/items/ee993b14f82e544ca6e4