Docker 1.8 に Fluentd logging driver が入りました - たごもりすメモ
以前に書いた話の続きなんだけど、Docker 1.8が出た。 blog.docker.com で、それに Fluentd logging driver が入っている。これで Docker container で起動したプロセスのSTDOUTやSTDERRを直接Fluentdに向けて投げることが可能になった。Dockerにpull-reqを送ったのは初めてだったんだけど、無事マージされてリリースまでこぎつけたので、本当に出たときはほっとした。途中だいぶ大変だったので……。 Collecting All Docker Logs with Fluentd | Treasure Data Blog 5 Use Cases Enabled by Docker 1.8’s Fluentd Logging Driver | Treasure Data Blog Treasure Data blogで既に
Fluentd update 2014 - Qiita
毎年恒例1年のまとめ記事です．2014年はFluentdの飛躍の年でもあったので，エコシステム周りも含め色々と紹介したいと思います． 2014年は0.10.43から始まり，v0.10の最新版は0.10.57，v0.12が開発版としてpre2までリリースされています．v0.12に関しては13日，v1を含めた来年の開発に関しては25日に書く予定です． Fluentd本体 すべてを列挙するのは難しいので，すべてを見たい方はChangeLogを参照してください．ここでは特に運用やプラグイン周りで有用なものをピックアップします． プラグイン毎のlog_levelオプション (0.10.43) グローバルなレベルとは別に，各プラグイン毎にログレベルを設定出来る機能です．詳細は以前書いたFluentdのロギングを参照してください． sigdump (0.10.43) sigdumpが同梱されるようになり
Fluentd v11移行を前に自分がAuthorのFluentd pluginについて - たごもりすメモ
ぶっちゃけ一人で全部移行とか無理！！！！！！！ あと自分で使ってないのとかもあるので、メンテナ(＆v11へのポーティング)を引き受けてくれる人を絶賛募集中です。v10の今から持っていっていただいて全く構いません。どうかよろしくお願いします。 まあ単純なプラグインもだいぶ多いのでよい練習・経験になるのではないでしょうか！*1 自分でやるよリスト これは自分で使ってるし、まあ多分やるだろうなー。でも誰か協力してくれれば早く進む！ あと共同メンテナはいつでも募集中です。 fluent-plugin-flowcounter fluent-plugin-datacounter fluent-plugin-forest fluent-plugin-growthforecast fluent-plugin-webhdfs fluent-plugin-numeric-monitor fluent-plug
日本語読み上げ対応。FluentdからTwilioの電話APIを操作する「fluent-plugin-twilio」を使って電話を掛けてみた - Y-Ken Studio
Twilio（トゥイリオ）という話題の電話APIサービスをご存じでしょうか。 これをFluentdに組み込むプラグイン「fluent-plugin-twilio」を作成・公開しました。 Boundioという電話APIサービスが廃止となり、行き場を失っていた方にも朗報です。 fluent-plugin-twilio https://github.com/y-ken/fluent-plugin-twilio Fluentd Output plugin to make a call with twilio. Twilioとは Web APIを利用し、電話を掛けたり、受けることの出来るサービスです。 TwiMLというXML言語を用い、大変自由度の高い動作を定義することが出来ます。 文字列として渡した漢字を含む日本語から、音声合成をして読み上げる機能も備わっています。 Twilioの料金（2013年
out_exec_filter 入出力フォーマットの変更による負荷の変化 - たごもりすメモ
まず前置きですが、みんな大好きFluentdがなぜ*1実用上充分なくらい高速に動作するかというとそれは内部のシリアライズ/デシリアライズフォーマットとして使われているMessagePackのおかげによるところが大きいわけですね。 ところで Fluentd の組込みプラグインのひとつに out_exec_filter というのがありまして、これは任意のプログラムを子プロセスとして実行し、そのSTDIN/STDOUTにFluentdのメッセージを通すことでどんな処理でも記述可能なフィルタとして使いましょう、というやつ。 これは当初はTSVしかサポートしてなかった*2んだが、対応フォーマットがいくつか増えていまではjsonとかmsgpackでも入出力可能になっている。もちろん外部プログラムの側でもjsonやmsgpackを読み書きするように書かれてないといけない。 さてお仕事でこの exec_f
Fluentd w/ Ruby 2.0.0-p0 のメモリ使用量 (追記: w/ msgpack v0.5.4) - tagomorisのメモ置き場
いくつかFluentdのベンチマークをとらないとなー、そういえばRuby 2.0.0-p0も出ましたね、ということでベンチマーク取ろうと思ってあれこれ作業してたらなんか変なのを見付けたのでとりあえず記録。 なおベンチマークの結果については、いろいろ取りかたを考え直す必要があるのでまたこんど。 概要 Fluentd の動作環境が Ruby 2.0.0-p0 with jemalloc なケースで Ruby 1.9.3-p392 に較べて大幅に大幅にメモリを食う上、負荷を停止した時にも何かよくわからない挙動を示す。 jemalloc を使わないケースだと 1.9.3 とほとんど変わらないと思われる挙動で jemalloc の必要性が無くなったとかいうわけではない。 詳細 ベンチマークは あるサーバ(4core HT, 16GB RAM)に立てた Fluentd に対し、別のサーバ(同一サブネッ
Fluentd Casual Talk #2でLTしてきました
2013/02/15に開催されたFluentd Casual Talk #2で"fluent-plugin-resque_statを作ってみた"というお題で発表してきました。 fluent-plugin-resque_statの話はほとんどないですwwww トークの流れ的にtagomorisさんをdisった感じになってしまった。。。(まあウケたしいいか) 内容は、out_execとかで外部のスクリプト呼び出す位なら、プラグインにしてテスト書こうよ！ってお話です。 その他@sonotsさんのお話でmina使ってて、結構簡単に扱えるとのことなので、ちょっと試してみようかなと思ってます。 haikanko githubに出して欲しいっす！ @angostura11さんの話は復習したいので、スライドあがらないかな。 正直esperあんまりよくわかってない。。。 あと、fluentdと全く関係ないで
#fluentd Casual Talks #2 やってきた＆fluent-plugin-secure-forwardの話 - たごもりすメモ
なんとなく気分が盛り上がったところで会場も見付かったのでカジュアルに企画して開催してまいりました。 Fluentd Casual Talks #2 : ATND いつもながら大人数の入る設備完璧な会場を貸していただき、また受付などすばらしいご協力を:DeNA様にいただきました。ありがとうございました！ で、大入りでしたね。発表者だれも決まってなかったのに……ｗ 話すほうも何も事前調整無し、talk完璧に未決定の状態から募集を開始したのに、最終的に面白い発表者、というか豪華メンバーがずらっと並びました。ありがとうございました。 どの話も大変面白かったですが、特に fluentd + esper でストリームに対してクエリを投げるというのがもう、まさにやりたいことというか弊社のIssue Trackerにも項目があってですね、あれを全部rubygemsにパッケージできると夢のCEPエンジン o
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
fluent-plugin-parser supports LTSV! - たごもりすメモ
乗るしかない、このビッグウェーブに！ Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー Text::LTSV - naoyaのはてなダイアリー LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー ということで fluent-plugin-parser で 'format ltsv' をサポートし v0.2.0 としてリリースいたしました。 fluent-plugin-parser | RubyGems.org | your community gem host tagomoris/fluent-plugin-parser · GitHub あるキーがLTSVな
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
FluentdのpingメッセージをNagiosで監視 - Studio3104::BLOG.new
Fluentdの監視については、 Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例や、 #fluentdの死活監視を ping message + ping message checker で - tagomorisのメモ置き場がとても参考になります。 これらの情報を大いに参考にさせていただいて構成した環境の監視設定についてまとめます。 当方環境 ・各APPサーバなどからはfluent-agent-liteによってログとping messageが送られてくる ・受信側のFluentdサーバはシングルノード、シングルプロセス ・APPサーバ、Fluentdサーバ、Nagiosサーバはそれぞれ別のサーバ 監視方針 監視はなるべくシンプルにしたいので、こんな感じにしています。 ・TCP/UDPポート監視 ・プロセス監視はしない ・通知はNagiosから プロセス
異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(設定編) · さよならインターネット
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(設定編) January 20, 2013 https://github.com/kenjiskywalker/fluent-plugin-securelog-parser ,j;;;;;j,. ---一､ ｀ ―--‐､_ l;;;;;; ｛;;;;;;ゝ T辷iﾌ i f'辷jァ !i;;;;; 全く触ったことがなくてもpluginを書いたらfluentdがわかる ヾ;;;ﾊ ﾉ .::!lﾘ;;rﾞ `Z;i 〈.,_..,. ﾉ;;;;;;;;> そんなふうに考えていた時期が ,;ぇﾊ、 ､_,.ｰ-､_',. ,ｆﾞ: Y;;f. 俺にもありました ~''戈ヽ ｀二´ r'´:::. `! 最初Postfixのmaillogつくってやろうかなんて 思っていたり
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(作成編) · さよならインターネット
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(作成編) January 20, 2013 https://github.com/kenjiskywalker/fluent-plugin-securelog-parser ,j;;;;;j,. ---一､ ｀ ―--‐､_ l;;;;;; ｛;;;;;;ゝ T辷iﾌ i f'辷jァ !i;;;;; 全く触ったことがなくてもpluginを書いたらfluentdがわかる ヾ;;;ﾊ ﾉ .::!lﾘ;;rﾞ `Z;i 〈.,_..,. ﾉ;;;;;;;;> そんなふうに考えていた時期が ,;ぇﾊ、 ､_,.ｰ-､_',. ,ｆﾞ: Y;;f. 俺にもありました ~''戈ヽ ｀二´ r'´:::. `! 最初Postfixのmaillogつくってやろうかなんて 思っていたり
perl: symbol lookup error: とエラーが出てfluent-agent-liteがメッセージを送信してくれない場合 - Studio3104::BLOG.new
fluent-agent-liteを起動して、メッセージの送信が開始されないのでログを見たらこんな出力が。 perl: symbol lookup error: /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/Data/MessagePack/MessagePack.so: undefined symbol: hv_fetchsVERBOSE起動してみると、接続には成功していると出ているが、netstatで確認するとコネクションが確立されていない。 2013-01-16T11:31:18 [INFO] (28595) connected to server: ['logserver',24224] at /usr/local/fluent-agent-lite/bin/../lib/Fluent/AgentLi
munin-node → Fluentd → GrowthForecast でオレオレモニタリングツールへの道? - 酒日記 はてな支店
できるかなと思って、とりあえず繋げてみたのでメモ。中途半端。 munin-node → Fluentd munin-ruby で取得した値をまるごと fluentd に送信するスクリプトをcronで1分ごとに実行。 #!/usr/bin/env ruby require "munin-ruby" require "fluent-logger" host = "localhost" node = Munin::Node.new(host) logger = Fluent::Logger::FluentLogger.new("munin") node.list.each do |key| values = node.fetch(key) logger.post("#{key}.#{host}", values[key]) end このようなメッセージが飛びます。 2012-06-12T08:4
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent-plugin-ses書きました
http://blog.inouetakuya.info/entry/20130216/1361015295
