fluentbit
1[INPUT] 2 Name tail 3 Tag tail.01 4 Path /var/log/system.log 5[OUTPUT] 6 Name s3 7 Match * 8 bucket your-bucket 9 region us-east-1 10 store_dir /home/ec2-user/buffer 11 total_file_size 50M 12 upload_timeout 10m 13[OUTPUT] 14 Name splunk Fluent Bit enables you to collect logs and metrics from multiple sources, enrich them with filters, and distribute them to any defined destination. Optimized data
mrubyからイベントログ収集ツールFluentdを扱う"mruby-fluent-logger"を公開しました - Y-Ken Studio
イベントログ収集ツールFluentdに、mrubyからも構造化ログデータを送りたい。 その情熱に勢いを任せて、"mruby-fluent-logger" を作りましたので公開します。 これを使えば、C/C++アプリに組み込んだmruby等からFluentdを容易に扱えますね。 そんな"mruby-fluent-logger"はこれらの用途に最適です。 アプリケーションログ・デバッグログを送る 組み込み機器のセンサー情報などを送る 夢が広がりますね！ mruby-fluent-loggerとは mrubyから呼び出せるロガークラスで、Fluentdへ構造化データを送れます。 GitHubリポジトリにてソースを公開しております。 https://github.com/y-ken/fluent-logger-mruby mrubyからの呼び出し方法 アルファリリースとも言うべき段階のため、必要最
td-agent/fluentdのmonitor_agentを使用してbuffer使用領域の監視
fluentdの0.10.33からin_monitor_agentという標準プラグインが追加され、これによりfluentdで使用しているpluginのmetrics情報が外部から取得できるようになりました。 ◯設定 <source> type monitor_agent bind 0.0.0.0 port 24220 </source> ※参考：http://docs.fluentd.org/articles/monitoring#monitoring-agent ◯確認 上記のように設定後、以下のように24220ポート経由でAPIに接続すると、metrics情報がjson形式で取得できます。 $ curl -s http://localhost:24220/api/plugins.json | jq "." { "plugins": [ { "config": { "type": "fo
fluentd+bookmarkletで簡易オンラインブックマークの仕組みをつくった - Qiita
fluentdにはHTTPサーバーを立ててHTTPクライアントからJSONを受け取って処理する機能がある。 ひょっとしてこれとブラウザのbookmarkletを組み合わせると便利なのでは？ さらに前述したfluent-plugin-hatena-bookmark ( http://qiita.com/yuiseki/items/ff00b3db0a2c6121f1a3 ) も組み合わせれば、はてブにクロスポストすることもできるのでは？ というわけでやってみた <source> type http port 8888 bind 0.0.0.0 body_size_limit 32m keepalive_timeout 3s </source> <match bkmk.kogaidan.**> type copy <store> type stdout </store> <store> typ
#fluentd でアクセスログからメトリクス生成/リアルタイム監視するための設定例 - たごもりすメモ
このエントリは ウィークリーFluentdユースケースエントリリレー の参加エントリです。 いろいろアレでアレなときに回ってきて新ネタを思い付く余裕がないので、手元の設定を晒して解説しお茶を濁そうと思います。ユースケース！ 前提は以下の通り。 アクセスログ このサーバに送られてくる前の段階で適当にparseされている(いちおう in_file の apache 互換の名前のはず？) sampling_filter プラグインにより 1/1, 1/10, 1/100 それぞれの割合でサンプリングされている(基本は1/10) いくつかのメトリクス計算を行い、それらをGrowthForecastへグラフ登録、一部のものはリアルタイム監視を行いIRC通知する ping message ping_message プラグイン(および fluent-agent-lite の -P オプション)による p
Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモ
Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う
異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
FluentdのデータをGraphiteに出力するときのTips - aptheia.info
fluent-plugin-graphite 利用時のメモ。 Ops界隈での可視化というと、ここ何年かはGraphiteでグラフを作ってそれを他のツールで表示する、みたいなのが多い。Fluentdのデータを可視化したい場合はGrowthForecastが使われることが多いけど、Graphite使ってみるといろんなツールと組み合わせられておもしろい。 Fluentd から Graphite へデータを送るのは Fluent-plugin-graphite を使えば簡単に実現できそうなんだけど、プラグイン側のインターフェース(:key や :count といったキーが必要)に合わせて入力のデータを整形する必要がある。 こういった調整は、out_map を使うことで実現できる。 <source> type tail format apache path /var/log/httpd/access
Search logs using Fluentd and Kibana - Go ahead!
Search logs using Fluentd and Kibana Apr 17th, 2013 | Comments Fluentd is a flexible and robust event log collector, but Fluentd doesn’t provide own datastore and Web UI. So if you want to search stored events, then you can use Kibana and ElasticSearch :) ElasticSearch is a easy to use Search Engine and Kibana is a great Web UI for ElasticSearch with LogStash format. Setup Pre requirements Java fo
Fluentular: a Fluentd regular expression editor
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
Fluentd Casual Talksに参加してきました！ - okochangの馬鹿でありがとう
遅くなってしまいましたが、Fluentd Casual Talksに参加してきたのでブログを書きたいと思います。 atndの募集では200人以上が応募して、とても注目度が高い勉強会である事がわかります。 僕はtd-agentのrpmを入れて遊んだ程度なので、本番環境で使ってる方のお話はとても嬉しいです！ 会場は最近ヒカリエにお引越しされたDeNAさんでした。 僕はヒカリエに行くのも初めてだったので、（（；ﾟ□ﾟ；））ｱﾜｱﾜでした。ｼﾌﾞﾔｺﾜｲﾖ オフィスの入り口はこんな感じす！ 会場はこのように綺麗でひろ～くて素敵ですねー！ 当日のプログラムとステッカーはこんな感じ！ 会場に一人だったら全裸で叫んでみたいような景色ですね！ 19時になると、@riywoさんから会場の説明があり勉強会がスタートしました！ トップバッターは@oranieさん、SD6月号がスピーカーつぶしとの事でしたが、トッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How we use Fluentd in Treasure Data
http://bynatures.net/wordpress/3104/
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
GitHub - uken/fluent-plugin-elasticsearch
GitHub - hotchpotch/fluent-plugin-graphite
Fluentd v0.11 の設計案
GitHub - KLab/fluenpy: Fluentd clone written in Python
Fluentd for Small Projects @ Fluentd Casual 20120518
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html