Etsyを支えるパフォーマンスアラートの技術 ～Velocity Conference 2015レポート #1～ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！kintone 開発チームの田中裕一(@yuichielectric)です。 O'Reilly Mediaがサンタクララで開催したVelocity Conference 2015に僕と佐藤鉄平(@teppeis)の2人で参加してきました。これから何回かに分けてそれぞれが面白いと思ったセッションの内容を紹介していこうと思います！ Velocity Conferenceとは O'Reilly Mediaが主催しているカンファレンスで、高速でスケーラブルで価値のあるサービスを作るための方法論がテーマです。 もともとは、技術的なテーマが主だったようですが、最近はそういったサービスを開発するために必要となってくる、継続的インテグレーションや継続的デリバリーの手法や、アーキテクチャ（流行りのmicroservicesの話題も幾つかありました）、開発プロセス、組織論（DevOps絡みの話題が
Elasticsearch の JVM のヒープ使用量を Graphite / Grafana で可視化するちょっとしたスクリプト - ようへいの日々精進XP
Elasticsearch の JVM ヒープ使用量を Graphite と Grafana を利用して可視化したいと思ったので Cluster API と Python を利用して実現してみた。 Cluster API Cluster APIs の Nodes Stats を利用するので curl を利用して取得してみる。 実際に叩いてみる。 $ curl -XGET 'http://localhost:9200/_nodes/stats/jvm?pretty=true' { "cluster_name" : "kappa-elasticsearch", "nodes" : { "RiQNuftXTIO2fiX4GJjO4w" : { "timestamp" : 1435845867712, "name" : "node2", "transport_address" : "inet[/x
Mackerelを支える時系列データベース技術 - ゆううきブログ
【追記 2018/01/06】現在Mackerelは、時系列データベースという概念をクラウドの技で再構築する - ゆううきブログの時系列データベース実装へ移行しています。 サーバモニタリングサービス Mackerel で採用している時系列データベース Graphite を用いたシステムの構築と運用事情を紹介します。Graphiteについては、プロビジョニングやアプリケーションからの使い方、Graphite自体のモニタリングなど様々なトピックがありますが、特に大規模ならではのトピックとして、Graphiteの内部アーキテクチャ、パフォーマンスチューニングおよびクラスタ構成についての知見を書きます。 背景 Graphiteシステム概観 データ構造とアーキテクチャ whisperのデータ構造 carbon-cacheのアーキテクチャ パフォーマンス特性 パフォーマンスチューニング ミドルウェアレ
graphite のバックエンド（carbon-cache と whisper）を Cassandra に置き換える cyanite を試したメモ（1） | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに Sensu のメトリクス要員としてもはやデフォルトな Graphite ですが、バックエンドとなる carbon-cache や whisper のスケールに頭を悩ませている方々は多いようです。そんな中でストレージ部分を Cassandra に置き換える為の cyanite というアプリケーションが公開されているので試してみました。 cyanite とは プロジェクト、参考 pyr/cyanite Cassandra Summit 2014: Cyanite — Better Graphite Storage with Apache Cassandra Graphite at scale with Cassandra 改めて cyanite とは 読み方は「サイアナイト」 Clojure にて実装されている（C
Sensu と Graphite による大規模インフラの監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージといった全社的なインフラの管理運用や調査検証などを担当しています。 今回は、2013年に全社のプライベートクラウドとして導入した OpenStack の監視基盤として、OSS の Sensu と Graphite を採用した事例についてご紹介したいと思います。 採用に至るまで サイトオペレーション本部では、もともと 2011 年から内製のプライベートクラウドを開発運用していました。 プライベートクラウドでは VM のホストとなるハイパーバイザを大量に運用する必要がありますが、その監視基盤として社内で一般的に利用され
fluentd をサーバー監視ツールとして利用するメモ | iret.media
それぞれのプラグイン設定 うんちくより実践 とりあえず、以下にチェック、通知とメトリクスの可視化の設定について記載します。 チェック fluent-plugin-df と flunet-plugin-config_expander を利用します。 <source> type config_expander <config> type df option -k interval 3 tag_prefix df.__HOSTNAME__ target_mounts / replace_slash true #tag dstat rm_percent true hostname true </config> </source> flunet-plugin-config_expander でタグにホスト名を付加しています。 通知とメトリクスの可視化 flunet-plugin-notifier と
Sensu + Graphite を1年運⽤してみて #sensucasual
9/17 の Sensu Casual Talks #1 で発表された資料です。 http://www.zusaar.com/event/7607003Read less
dstat + fluentd + Graphite + Grafana でサーバモニタリングする - blog.nomadscafe.jp
ES + kibanaでサーバモニタリングをやってみたのですが、ESのCPU負荷がかなり高くて、リアルタイムにモニタリングできない状況だったので、graphite + grafanaにしてみた。ちなみに、ESのサーバのCPU負荷はこんな感じ。 GrafanaはGraphite用のDash boardを作るツール。最近、influxDBにも対応していてなかなか野心的。 Grafana - Graphite Dashboard kibanaをforkしただけあって、画面はそっくり。まだ修正もれがあるのか、メッセージにkibanaって文字がでてくることもある セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにGraphiteとGrafanaをいれる。環境はCentOS6 CentOS6.x - CentOSにRPMでGraphite+Diamondをインストールする -
ヘビーなGraphite運用について - ゆううきブログ
"Monitoring Casual Talks #6"に参加して、「ヘビーなGraphite運用」についてしゃべってきた。 Graphite ここ数ヶ月ずっと運用してて、そこそこのリクエスト数さばけるようになるまでと冗長化の話をだいたいしてた。 Graphiteのパフォーマンス・チューニングで結構苦労してて、@sonots さんが発表されてた"GrowthForecast/RRDtool チューニング秘伝の書" がすごい参考になった。（Graphite(whisper) のデータ構造と RRdtool のデータ構造はよく似ている。） fadvise(2)とか知らなかった。 ぜひ試してみたい。 スライド 結構口頭で補足してた。Graphite 秘伝の書書きたい。 感想 今回の勉強会、かなり刺さる内容が揃っててよかった。 形式が30~100人くらいいて、数人の発表者がプレゼンするっていう感じ
Dynamic monitoring using Chef, Sensu and Graphite
Talk given at DevOpsMTL on Nov. 4th, 2013
Fluentd を使って CloudWatch のメトリクスを Graphite で見れるようにする | iret.media
cloudpack の 自称 Sensu芸人 の かっぱこと 川原 洋平（@inokara）です。 はじめに CloudWatch は AWS で標準で利用出来る監視ツール メトリクスを収集してマネジメントコンソールがグラフの表示を確認出来たり Alarm を作成することでしきい値を超えた場合等の通知等も行える 但し、メトリクスの保存期間が 2 週間に限られている為、長期レポーティングが必要な場合には別の方法でメトリクスを蓄積する方法を検討する必要がある 今回は Fluentd のプラグイン 2 種類を利用して CloudWatch から Graphite にメトリクスデータを蓄積して Grafana のカッコイイ画面でグラフを見るような流れを作ってみる 作業にあたって fluentd とは fluentd もはや説明不要の泣く子も黙るログ収集ソリューション Graphite と Graf
Graphite と Sensu について | iret.media
cloudpack の 自称 Sensu芸人 の かっぱこと 川原 洋平（@inokara）です。 Sensu とメトリクスツールはほぼ一択の Graphite について調べてまとめていきます。 Graphite の基本 アーキテクチャ メトリクスを収集するのが carbon データを保存しておくのが whisper whisper に保存されたメトリクスを表示するのが graphite-web 設定ファイル /etc/carbon/carbon.conf /etc/httpd/conf.d/graphite-web.conf /etc/graphite-web/ 以下 尚、上記は CentOS 6.5 上に各種ツールをパッケージインストールした場合の設定ファイルのパスになるので環境に応じて読み替える必要がある。 最小構成 carbon-cache が利用される whisper のデータ保
td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み - ようへいの日々精進XP
どうも、かっぱです。 追記 Grafana を手動でポチポチがかったるそうだったので Scripted-dashboard を試してみた。 はじめに 以前に td-agent の monitor_agent を利用してこんなことをやっていたことを記事をツイートして頂いたようでして... そっか〜 / “sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた - ようへいの日々精進 XP” http://t.co/GlfffnJTKI— kenjiskywalker (@kenjiskywalker) 2014, 5月 29 汗... お、td-monitoring の競合だ! / “sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた - ようへいの日々
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分類 大きく分けると、可視化ツールは以下の３つに分けられそうです。 ログ収集/集計 時系列DB（＋API）の担当。バックエンド側。 可視化部分の担当。 今回は バックエンド と 可視化部分 に焦点を当ててみます。 バックエンド 全文検索時エンジン+Restfu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
