#fluentd VMware+fluentdで「no nodes are available」が出てしまう問題と対処方法 - oranie's blog
何が問題？ VMware ESXi5系(4系もかも)のVM（今回はCentOS5.4 64bit td-agent-1.1.10.3-0）同士でfluentdを使うと、td-agent.logに以下の様なエラーが吐かれる場合があります。 2012-11-07 23:08:10 +0900: temporarily failed to flush the buffer, next retry will be at 2012-11-07 23:09:13 +0900. error="no nodes are available" instance=23456251017660 2012-11-07 23:08:10 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.27/lib/fluent/plugin/o
FluentdをWindowsで動かそうとして挫折しなかった記録。その1
FluentdをWindowsで動かそうとして挫折しなかった記録。その1 WindowsでFluentdを動かそうとして調べていった記録のメモです。 きちんとまとめていないので起こった順に書いています。 同じような事を試みて挫折した人が居たので、この意思を勝手に引き継いで3秒以上頑張ってみました。 概要としては、fluentdのRuby実装、Python実装(fluenpy)、fluent-agent-liteのPerl実装とF#実装を確認した事と、Windowsでのファイル処理の排他制御について分かったことをまとめています。Windowsのファイルについては別の記事でまとめる事にして、この記事では簡単に触れる程度にします。 まずOriginalのFluentd。Ruby実装なのでWindowsのRubyかJRubyで動くかなとも思っていたのですが、Cool.ioというライブラリに依存して
fluentd のベンチマークとってみたよ！ - たごもりすメモ
入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。 fluent/fluentd · GitHub ので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。 結論 以下非常に長くなるので結論だけ書くと、大変使える感じ。現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。だいぶいい感じ。 なおこれは in_scribe および out_scribe を使用した場合で、開発者 @frsyuki によるとMessagePackでのデータ転送の場合はこの倍くらい出るらしい。 もちろんこれは右から左に流しただけなので現実にタグによるルーティングだとかロ
タグによってforward先を一意にしつつ負荷分散したい時に使えるかもしれないfluent-plugin-hash-forward #fluentd - As a Futurist...
そろそろ fluentd 触ろうかと思ってはや 1 年近くが経とうとしている今日この頃。ふと構成を色々考えてたんですが、ひとつ気になる問題がありました。 forward とか roundrobin とかでログの転送先をいろんなサーバにすることがあると思うのですが、単純な count up 以外の集約を行おうとすると、サーバ(正確には flunetd のインスタンス)が別れてるとちょっと面倒ですよね。例えば、アクセスログから 1 分辺りのステータスコードによって datacounter するとして、それを出力してるサーバ毎にやりたいと思った時に、一つのサーバからの出力がラウンドロビンされていろんな fluentd に分かれていると、ちょっと厳しい。 また、例えば 1 サーバで in_forward の受け口は 1 つにしつつ、ローカルに別プロセスでいくつも fluentd を上げてそれらにロ
Fluentd Meetup #2 発表資料 | 外道父の匠
このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわかりづらいかもですが、アップロードしましたので御覧くださいませ。 内容の補足 いくつか質問を受けて答えたりTwitterで見た点について、資料の補足をしておきます。 Agent -> Collector通信経路について Q. なぜVPNにしなかったのか A. VPNは可用性／負荷分散性の点で弱いため。また、VPNサーバや他にもGatewayなど余計な経路を通ることになり無駄である。Agentの増加に対してボトルネックができない構成にしたかったため。政治的な理由で、ある環境だけVPNをはれないといった場合もあり、総合するとGlobal＋暗号化 が良い落とし所だった。 圧縮／暗
fluent-plugin-numeric-monitor v0.1.0 and fluent-plugin-numeric-counter v0.1.0 released! - たごもりすメモ
Fluentdメッセージ中の数値の統計・集計をとるためのプラグインをふたつリリースしたのでその話。numeric-monitorは前に 0.0.x 系のバージョンでいちおう出してたけど、自分の手元でもちゃんと使い始めたので v0.1.0 として改めてリリースした。 fluent-plugin-numeric-counter fluent-plugin-numeric-counter | RubyGems.org | your community gem host tagomoris/fluent-plugin-numeric-counter · GitHub このプラグインは数値の上下範囲にマッチするメッセージをカウントする。数値版の datacounter みたいなものだと思えばよい。出力も datacounter の出力内容とまったく同じ。 Fluentd Casualのときの @fu
fluent-plugin-mysqlslowquery + out_exec_filter でスロークエリを自動EXPLAIN - Studio3104::BLOG.new
はじめに 管理するMySQLサーバが増えてくると、クエリの品質管理が大変になってきますよね。 スロークエリログを、EXPALINの結果も含めたデータで一箇所に集められたら幾ばくかの手間が省けるかなーとか考えてました。 ので、fluent-plugin-mysqlslowquery + out_exec_filteでやってみました。 検証環境 log_queries_not_using_indexesが有効な環境で、以下のクエリを投げてみて検証します。 mysql> SELECT * FROM user a, user b WHERE a.User=b.User; mysql> EXPLAIN SELECT * FROM user a, user b WHERE a.User=b.User; +----+-------------+-------+------+---------------
GitHub - tagomoris/fluent-plugin-parser
fluent-plugin-parser NOTE: This plugin is outdated for Fluentd v0.14 (Fluentd v0.14 has 'parser' filter plugin) Component ParserOutput This is a Fluentd plugin to parse strings in log messages and re-emit them. ParserFilter Filter version of ParserOutput. In fluentd v0.12 or later, ParserFilter is recommended for simple configuartion and better performance. DeparserOutput Generate string log value
fluent-plugin-rewriteというプラグインを作成した #fluentd - Kentaro Kuribayashi's blog
fluent-plugin-rewriteというfluentdのプラグインを作成した。以下、このプラグインの解決する問題について述べる。 https://github.com/kentaro/fluent-plugin-rewrite https://rubygems.org/gems/fluent-plugin-rewrite 問題 あるサービスのレスポンスタイム改善をしていて、まずは状況の可視化のために、fluentdを用いることにした。その際、たとえば トップページ ユーザページ 書籍検索ページ 書籍詳細ページ ... その他 といったグループにわけて、レスポンスタイムの各種統計を取りたい。また、ログを全部集計すればいいというものではなく、除外すべきmessageも複数種類あるので、柔軟にフィルタルールを設定したい。 既存のプラグインだとout_exec_filterを使うことによっ
自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentd - Y-Ken Studio
皆様、ログ解析を行っていますか？ GoogleAnalyticsも便利ですが、表で取れないデータの解析も行いたいですよね。そんな時にfluentdが便利です。 内部の生ログからの解析が捗る、fluent-plugin-rewrite-tag-filter が安定版となりましたので、設定例を交えつつ紹介したいと思います。 このプラグインは100台規模の本番環境で1ヶ月少々、特にトラブルもなく稼働しているものです。 はじめに Amazonでは応答速度が0.1秒遅くなると売り上げが1％減る と言われているように、Webアプリケーションの応答速度はとても重要なものです。 機能追加による性能劣化は良くある話で、応答速度等の見える化を行う事で迅速な対応が取れば売り上げ等への影響も軽微です。 パフォーマンス改善等の指標として利用する場合のユースケースを紹介したいと思います。 fluentdとは リアルタ
Treasure Data Analytics 第4回 〜ブックレビューデータセットによるデータ解析入門（実践編1）〜 - doryokujin's blog
はじめに 準備編ではデータセット：Book-Crossing Dataset を用意し， Treasure Data のツールベルト一式を導入した上でインポートし，簡単なクエリを実行するところまで行いました。本シリーズでは Treasure Data のデモアカウントが必要になりますのでまだの方は準備編の方を先に参照下さい。 今回は「データを俯瞰する」をテーマに，解析対象としているデータセットがどのような姿をしているのかを視野広く眺めることにしましょう。このフェーズでは全く難しいことは行いません。ここでのキーポイントは セグメント：ノードやアクションのステータスから様々なセグメントを作成しその分布を眺める というステップを地道に行う事にあります。それによってどの「切り口」でデータを深掘りしていけば良いかが見えてくるのです。 データを俯瞰する データ解析は解析対象とするデータセットの概要を知
#fluentd のためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場
前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount
Fluentdの所感 その２ | 外道父の匠
YARNについて書きたい気持ちを抑えて前回の続きです。 まだfluentdをがっつり導入しているわけじゃなく、独自プラグインや構成については改良の余地があるかもなので、まぁ参考程度に見ておいてください。 データフロー APサーバのログ書き込みから、HDFSに書き込むまでの処理内容です。パスとかは適当に書き換えてます。なぜこんなフローなのかは後述。めんどいのでテキストで。 (WEB/AP) ◆ログを固定パスに追記 (ex: date >> /tmp/service_plathome_logtype.log のような) ├─□cronによる強制logrotate (10分～1時間程度おき) │ (Fluentd Agent) ◇IN 改造tailプラグインでログ取得 (pathに*の使用可、basenameをtagにできる) │ ◆OUT copy ├─◆flowcounter (unit h
検証中のtd-agent（fluentd）の設定とか負荷とか - mikedaの日記
せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ（APPサーバ）のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する（とりあえずやってみてるだけ） TreasureDataプラットフォームにデータを送信して集計可能にする Zabbixでサービスの稼働状況を可視化する TreasureDataプラットフォームに関しては前の記事で書いたように、簡単な管理画面を作って集計テストをしています。自社フレームワーク用のライブラリも作成するつもりです。 Zabbixを使った可視化はこんな感じです。 プラグインの構成図 td-agentはサーバごとに1プロセス、できる限りシンプルでFluentdっぽい使い方を心がけてます。 負荷 2億/dayくらいのログを突っ込んでみたところ、集約サー
#java_ja で例外とロギングについて勉強会をやるというのでいってきた＆飛び込みLTやった＆運用の視点から見たアプリケーションのログについて - たごもりすメモ
LOG.debug("nice catch!") - connpass 2012/06/27 java-ja 『LOG.debug("nice catch!")』#java_ja #javaja - Togetterまとめ blogエントリを書くまでがjava-jaだと聞いたのでとりあえず書く。超まとまってません。各スピーカーの話の内容については他の人のblogに(たぶん)書いてあるのでそっちを見るとかTogetterを眺めるとかすればよいのではないでしょうか。 主催のみなさま、および会場提供のGREEさま、ありがとうございました。そういえばGREEでの勉強会って初めて参加した気がする。六本木ヒルズの入館、だいぶ簡単になりましたね。 いってきた どっちかというとアプリケーションのコード書く人が多かったんですかね。という感じで、アプリケーションコードからいかにして例外を投げるか、それをどのよ
EC2インスタンス上でnginxのログをfluentd経由でS3へ飛ばしてみる - nozaq's diary
このエントリでEC2インスタンスにfluentdをインストールした続き. EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. nginxをインストール 公式ドキュメントを参考に, apt-get用リポジトリにnginxを追加. > cd work_dir # 適当な作業ディレクトリへ異動 > wget http://nginx.org/keys/nginx_signing.key > sudo apt-key add nginx_signing.key > sudo vi /etc/apt/sources.list ファイル末尾に下記リポジトリを追加. deb http://nginx.org/packages/debian/ squeeze nginx deb-src http://nginx.org/packages/debi
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - KLab/fluenpy: Fluentd clone written in Python
GitHub - tagomoris/fluent-agent-lite: Lightweight log delivery agent works w/ fluentd