fluentd の output plugin のテストのかきかた
fluentd のプラグインのテストで、他のoutputも利用するタイプのプラグインはどうテストするのかなあと思ってしらべてみた。@tagomoris さんの out_forest はちゃんとテストが存在したのでそれを読む事に。 https://github.com/tagomoris/fluent-plugin-forest/blob/master/test/plugin/test_out_forest.rb#L416 まず fluentd のプラグインのテストの書き方から理解していないので理解しなければ、と 公式ドキュメント を読むと: Please see Fluentd’s source code for details. うっ、はい… まず前準備に Fluent::Test.setup を呼ばないといけないっぽい。これ、engine.rb に書いてある所為でgrepしないと見つか
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
Treasure Data を使い始めてみた - HsbtDiary(2013-01-25)
■ Treasure Data を使い始めてみた 会社でも色々やっているけど、hsbt.org でそれとなく貯めている nginx のログも TD に入れるようにしてみた。hsbt.org は gentoo なので公式で配布している rpm ではなく、gem を使って野良インストール。 $ gem install fluent-plugin-td 後は下のような fluent.conf で起動するのを確認した後に daemontools 送りにしておしまい。 <source> type tail path /var/log/nginx/access_log format apache tag td.nginx.access pos_file /tmp/fluentd-nginx.pos </source> <match td.nginx.access> type tdlog apikey
異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
fluentdで、1つのログから複数のメトリクスを得る。 - Studio3104::BLOG.new
ウィークリーFluentdユースケースエントリリレーの記事です。 「1つのログから複数のメトリクスを得る」という目的主眼の記事です。 各プラグインの仕様や紹介していないオプションについては、他の方が書かれる記事や、作者様のブログやGitHubをご参照ください。 WEBのレスポンスタイムをグラフ化する fluentd casual talks で、fujiwaraさんが発表されたfluentdでWebサイト運用を楽にするがきっかけで、WEBのレスポンスタイムを可視化し始めた方、多いと思います。 (かなり極端な例ですが)こんなふうにグラフが出ることによって、「14:30頃からレスポンスが著しく悪くなっている！」ということが見て取れるようになります。 これによって"14:30から遅い応答が増え始めた"ということはわかるようになるのですが、「じゃあどこが遅いの？」となって結局生のログを漁ったりする
Fluentd meetup logging infrastructure in paa s
Rakuten, Yohei Sasaki, Waldemar Quevedo, at Fluentd meetup, August 22nd, 2012
Fluentd Meetup 2で話してきました - mikedaの日記
というわけでFluentd Meetup #2で話してきました！！！ Fluentd meetup #2 from Tomohiro Ikeda Fluentd & TreasureDataに関する使ってみた系の発表です。 資料みづらいっすねー ※『事前アンケートの結果、7割の人がFluentdを既に使っています』（ホントか！？）と言われてすごく焦りました。 で、GREE初突入、参加者200人、ということでドキドキワクワクだったわけですが・・・ 事前にプロジェクタのチェックをやっていなかった自分はまさかの大失態！！！ 当日はこんなありさまでした・・・ 自分の順番がくる（トリなので入れ替え不可能） PCをプロジェクタに接続するもうまく映らない いじってるうちにPCの画面が真っ黒に 再起動してもなおらない＼(^o^)／ｵﾜﾀ ファイルのバックアップ取ってない・・・ セーフモードで起動してみる
fluent-agent-lite と td-agent で、小さくはじめる fluentd - Studio3104::BLOG.new
fluentdを使ってみたいけど、「JSONでシリアライズしなくていいのに・・・生でいいのに・・・」と思ってなかなか使い出せないというケースはままあるのではないでしょうか。 こんなときに困ってしまうからですよね。 rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまう アプリケーションサーバにログをパースさせるための負荷をかけたくない それでも使ってみたい、現存の古臭い解析機構をアクティブにしたまま、徐々にfluentdによる先鋭的なログ解析を始められたらいいなと思っている方、 fluent-agent-lite と td-agent で、fluentd を小さくはじめてみたらいいと思います。 結論を先に言うと、fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi
Fluentd meetup in Japan 2 にいってきた #fluentd - たごもりすメモ
Fluentd meetup in Japan #2 #fluentd on Zusaar ふらふらとお気楽に参加してきた。当方ささやかながらプラグインを作ったりしているので、他のひとがどのように使っているか、どのようなプラグインが他の人によって使われているか、あたりにたいへん興味があったので、そういう話をかなり聞けたのがすばらしく有益だった。主催者の方々、スタッフの方々、会場提供のグリーの方々、ありがとうございました。 以下だらだらとセッションごとに感想めいたものを書く。 「Fluentdの現在と未来」by @frsyuki 会場のFluentd利用者率が6割だか7割だかでびびる。本当に？ みたいな。あと日本語ドキュメントなんていらんかったんやー、俺達は間違ってなかったんやー、と安心したりする。*1 Fluentd次期バージョンの話、じつはこれをメインで聞きにいったけど、既にTwitte
Fluentd meetup #2
Big Data Day LA 2016/ Big Data Track - Fluentd and Embulk: Collect More Data,...Data Con LA
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
#fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店
MTA が吐く maillog は普段あまり見ないのだけど、トラブルがあったときには大変重要。これも Mongo に入れれば、問い合わせがあったアドレスで検索してログを管理画面で見るとかできて便利！ということでやってみた。 # fluentd.conf <source> type tail path /var/log/maillog tag maillog format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :]+)[ :])? ?((to|from)=<(?<address>[^>]+)>)?.*)$/ </source>正規表現がなかなかですが、これで maillog を parse して以下のような生ログから 2012-03-26T19:49:56+09:00 worker00
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd and PHP
OSSで支えられるライブドアの巨大ログ集計 #nhntech
An Introduction to Fluent & MongoDB Plugins