fluent-plugin-config_pit - naoyaのはてなダイアリー
fluentd を使って居て s3 プラグインなんかを使うときに各種APIキーなどを設定ファイルに書いたりするのが微妙な場合があるので、設定内で pit を使いたい。のでプラグインを作りました。 <match my.tag> type config_pit <pit aws> type s3 ... aws_key_id $pit[aws_access_key] aws_sec_key $pit[aws_secret_access_key] ... </pit> </match>こんな感じで設定してやると該当箇所を pit に保存されている値で置き換えます。pit aws の "aws" が pit の ID です。 github : https://github.com/naoya/fluent-plugin-config_pit rubygems : https://rubygems.
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
fluent-plugin-anomalydetect 作りました - PolyPeaceLight
jubatusでも異常値検知がリリースされたばかりですが、簡単でメモリも食わずに異常値検知できるといろいろ捗るかなぁと思い、異常値検知のpluginを作りました。 rubygems github 一日動かしてみましたが、手元の環境では特にリークもなく、fluentd本体、このplugin、node.js expressを立ち上げ、abで適当に負荷をかけ続けましたが、全体で60MBくらいでした。 <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> こんな感じで設定すると、tickで指定した時間(秒)にaccess.**に入ってくるデータ数を数えてそれの異常値をスコアリングします。 また <match access.**> type anomalydetect tag anomaly.acces
Fluentdというログ収集ツールを使ってApacheのログを取得するまで - kk_Atakaの日記
あらすじ Twitterで@tosikawaさんにこんなツールあるよ、と教えてもらった …が、未見だったためすぐググる とりあえずどんなものか動かしてみる事に Fluentdとは Log everything in JSON http://fluentd.org/ Oh...シンプルイズベスト…。 Fluentd is a log collector daemon written in Ruby. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like MySQL, MongoDB, or even other instances of Fluentd. Rubyで作られたログ収集ツール。ただし、JSONで……？ 参考サイト Fluentd: Log Everythi
標準入力から読んでFluentdに送信するにはfluent-agent-liteが便利 - 酒日記 はてな支店
標準入力から受けたログを syslog に送信する場合に使えるのが logger(1) コマンドです。 $ echo "log message" | logger -t myapp -p local0.info自分のところではバッチ処理の出力や、daemontools で起動したコマンドの出力を log/run で logger に渡して syslog に集約するなどしていました。 これを syslog ではなく、Fluentd に送りたい場合にどうするか。 Fluentd 本体には fluent-cat というコマンドが同梱されていますが、これは入力に JSON 形式を要求するので単純に代替はできません。 何か適当なワンライナーで wrap する手もありますが…… $ echo "log message" | perl -MJSON -nE 'say JSON::encode_json(
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
#fluentd fluent-plugin-datacounterがリリースされたので試してみた。 - oranie's blog
タイトルまんまですね。 fluentdを導入する目的で、一番欲しかった物がリリースされて本当に id:tagomorisさん++ です。 プラグインの詳細はこちら。 fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd で、実際に試してみた結果がこちら。（ほとんどの設定はサンプルまんまですよ。） apacheのログフォーマットはこれ。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D" combined apacheログを読む為のfluentd configはこれ。 受け取ったログでfluent-plugin-datacounterでゴニョゴニョした結果をログに吐く fluentd con
fluentdのブログ記事などまとめメモ - oranie's blog
自分もfluentdのビッグウェーブに乗ろうとして、試す上で色々検索しているけど、 しょっちゅう同じサイト見たりしている。 なので、メモとしてよく見るサイトとかを書いておく。 - 勝手に載せんな！！というのがあれば、申し訳無いですが言って頂ければ 削除します・・・。 - 古橋貞之の日記「イベントログ収集ツール fluent リリース！」 id:viverさん http://d.hatena.ne.jp/viver/20110929/p1 http://www.slideshare.net/treasure-data/fluentd-meetup-in-japan-11410514 公式ドキュメント http://fluentd.org/doc/ Github https://github.com/fluent/fluentd - 以下、利用している人たちのまとめやスライド - 2012/02
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd
Fluentdによる研究開発用DCのデータ収集
Fluentd
Fluentd: Unified Logging Layer
GitHub - fluent/fluent-plugin-mongo: MongoDB input and output plugin for Fluentd
fluent + mongodb + node.js でwebアクセスの準リアルタイム解析 | Day After Neet
http://documents.mazgi.com/fluent/doc/
Fluentdでaccesslogをmongodbに取り込み | White scenery @showyou
pyfluent 0.2.0 をリリースしました — log.randomly
GitHub - fluent/fluentd: Fluentd: Unified Logging Layer (project under CNCF)
http://fluentd.org/doc/