Big Data入門に見せかけたFluentd入門2013年7月5日、社内勉強会で使用した資料です（一部修正済み）。 ライセンスはクリエイティブ・コモンズ・ゼロとします。ご自由にお使い下さい。 ソースのPowerPointファイルはこちら => http://bit.ly/begining_fluentd_learning_big_data fluent-plugin-glusterfsはこちら => https://github.com/keithseahus/fluent-plugin-glusterfsRead less
「なんだかいつもと違う」を fluentd を使って検知する – 異常値検出 –
インフラ・システム運用を担当している平野です。 今回は「なんだかいつもと違う」をシステム監視で検知したいと思います。 通常のシステム監視では、監視項目に対して閾値を設け、 その閾値を外れたら異常値として検知する仕組みを導入します。 が、単純な閾値では片付けたくない監視項目もあります。 例えば、アクセス数なんかは平常時においても日中帯・夜間帯で伸び率が違い、 低い閾値設定すれば大量にアラートがあがりますし、高い閾値設定にすれば ちょっとした負荷ではアラート検知できません。 これらを解決するには、時間帯別に監視閾値を変更するなど、運用方法で考慮をいれると思いますが、 今回は「fluent-plugin-anomalydetect（異常値検出プラグイン）」を利用して 「なんだかいつもと違う」を検知したいと思います。 ◇監視内容 監視対象は当社のとあるサービスのApacheのアクセス数（PV）とし
fluent-plugin-anomalydetect 作りました - PolyPeaceLight
jubatusでも異常値検知がリリースされたばかりですが、簡単でメモリも食わずに異常値検知できるといろいろ捗るかなぁと思い、異常値検知のpluginを作りました。 rubygems github 一日動かしてみましたが、手元の環境では特にリークもなく、fluentd本体、このplugin、node.js expressを立ち上げ、abで適当に負荷をかけ続けましたが、全体で60MBくらいでした。 <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> こんな感じで設定すると、tickで指定した時間(秒)にaccess.**に入ってくるデータ数を数えてそれの異常値をスコアリングします。 また <match access.**> type anomalydetect tag anomaly.acces
fluent-plugin-redeliverというのを書いた
昔からとうてい世間に公表出来ないようなものばっかり作っていた私ですが、今年の目標に「パブリックにリリース出来るもの(製品およびライブラリ)をたくさん作る」と掲げておりまして、その第一弾というわけではないですが今をときめくイベントログ収集ツールのFluentのプラグインを書きました。 名前はredeliverプラグインです。ログに別のタグをつけて再送するんです。 必要に迫られて作った感じなんですが、一応作る前にそもそもそういうプラグインありそうじゃね? って思って探してみたりはしました。するとそれっぽいものとしてrewriteプラグインとrewrite-tag-filterプラグインが見つかりました。あら…どちらの作者も名字は違うけどKentaroさんなんですね…ってそれはおいておいて、残念ながらドキュメント読んでみると微妙にぼくの使い方に合致しないため使えませんでした。 ぼくが必要としてい
超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット
January 5, 2013 fluentdをまともに動かしたことないけど プラグイン書いたらわかるのでは！！？ と思い立って取り敢えず下地だけつくったのでメモ。 参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。 参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。 また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ
daemontoolsで起動しているstarmanのログをfluentdで - ゆーすけべー日記
fluentdが面白そうなんで、散らばっているAppサーバのログを集計してみたい。 アプリケーションは 基本、Perlで書かれてる Starmanで動かす .psgiで「enable "Plack::Middleware::AccessLog", format => "combined";」してる daemontoolsでデーモン化 という条件で、fluentdに付属のサンプル設定ファイルをほんの少しいじる。 tailして標準出力に出すだけだけど、いい感じです。 <source> type tail path /service/bokete_web/log/main/current format /^@[0-9a-z]+ (?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[
dstatをfluentd + GrowthForecastで可視化する - Qiita
dstatの結果をfluentd経由でGrowthForecastに投げる方法は、ぐぐると何件かブログ記事がでてきます。 ただ、どれもdstatを改造したり、プラグインを改造したりしてて、あまり使い勝手がよくありません。 というわけで、gemでいれれるプラグインだけを使って、可視化できる設定を探してみました。 準備 必要なgemをインストールする。 <source> type dstat tag dstat option -cm delay 3 </source> # GrowthForecast用にメッセージを加工する <match dstat> type copy # CPU関連の結果だけを取り出す <store> type map tag "perf.cpu" time time record record['dstat']['total cpu usage'] </store> #
3Dクラスタ監視ツール
最近クラスタの負荷状況を3Dで表示するようなツールを作ってます。 クラスタ監視ツールって既存のものもあるのに、なぜ今更？と思うかもしれませんが、 既存のもので足りないと思っているのは、 1. 十数台くらいまでなら良いがそれ以上になるとグラフを見るのがつらい 2. CPU毎、ディスク毎に見れない 自分の目的としては数百台とかの規模でHadoopを実行し、負荷状況を見れること、 後からも実行時の状況を調べてボトルネック等を分析出来るようにすることです。 そこでこんな感じのものを作りました。 構成はこんな感じです。使用技術は、 fluentd + node.js + websocket + webgl (Three.js) といった感じでかなり流行りの技術を使ってる感じです。 各サーバーの負荷状況をfluentdで集めています。自作プラグインfluent-plugin-statでC
fluentd+MongoDBで集めたApacheログの検索システムをRailsで試作
Apacheのアクセスログをfluentdで集めてきてMongoDBに突っ込んで、Webで検索するシステムの試作品を作ったので、作業ログを残す。 WebにはRuby on Railsを使うことにした。 Ruby on Railsのインストール手順は、本Postでは省略。 前提と仕様 今回はテスト用のため、fluentdで集めるのは同一サーバ上のApacheのアクセスログのみ。 環境はCentOS 5.5。 とりあえず、検索条件としてクライアントIPアドレスと期間を指定できるようにしてみる。検索条件の入力省略も許容する。 クライアントIPアドレスには正規表現を使えるようにする。 fluentdとMongoDBのインストール インターネットに自由に出られない環境へのインストールを見据え、yumは使わない。 MongoDBのRPMはhttp://downloads-distro.mongodb.
fluent-agent-lite と td-agent で、小さくはじめる fluentd - Studio3104::BLOG.new
fluentdを使ってみたいけど、「JSONでシリアライズしなくていいのに・・・生でいいのに・・・」と思ってなかなか使い出せないというケースはままあるのではないでしょうか。 こんなときに困ってしまうからですよね。 rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまう アプリケーションサーバにログをパースさせるための負荷をかけたくない それでも使ってみたい、現存の古臭い解析機構をアクティブにしたまま、徐々にfluentdによる先鋭的なログ解析を始められたらいいなと思っている方、 fluent-agent-lite と td-agent で、fluentd を小さくはじめてみたらいいと思います。 結論を先に言うと、fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - takumakanari/fluent-plugin-redmine: Fluentd output plugin to create ticket in redmine