fluentd v0.10.35 が出ましたね！https://rubygems.org/gems/fluentdで、端的に申し上げまして fluentd をお使いの皆様は以下の組合せで使うのがおススメです。Ruby 2.0.0-p195Fluentd v0.10.35 MessagePack v0.5.5なぜかというと以下のようなすばらしい利点が... 続きを読む

• d:id:tagomoris
• テクノロジー

なんか自分で docs.fluentd.org へのpatchを書いてて混乱してきたのでまとめる。コードを読んでも関係する設定値がいくつものモジュールに分散しており、安全に把握することが困難である。具体的には、この組合せを記憶だけで答えられる fluentd コミッタはおそ... 続きを読む

• d:id:tagomoris
• テクノロジー

NAVER Engineers' Blog NAVER RSS search Introduction of ‘fluentd’ by just_do_neet on 2012.1.17 今年は さだまさし さんのデビュー40周年という記念の年ですね。大平です。 さだまさしさんの歌は、時に切り口鋭く、時に叙情的に情景を描写する技術もさる... 続きを読む

• matome.naver.jp
• テクノロジー

2012年12月21日金曜日 EMRってなんじゃ？（ログ、ゆりかごから墓場まで） AWS Advent Calendar 2012 に参加させてもらいました。21日担当です。 AWSでWEBサイトをホストするときのログのライフサイクルについて、まとめてみました。 WEBサーバーの一般的なログ... 続きを読む

• memocra.blogspot.com
• テクノロジー

Regexp example Apache ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Syslog ^(?<time>[^ ]* [^ ]* [^ ]*) (?<host>[... 続きを読む

• fluentular.herokuapp.com
• テクノロジー

このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわかりづらいかもですが、アップロードしましたので御覧くださいませ。 内... 続きを読む

• blog.father.gedow.net
• テクノロジー

アゲサゲビューアー for WEBのトップページに人気キーワードをつけてみました。何で検索すれば良いか迷ってる人は一度使ってみてはいかがでしょうか。近いうちにAndroidアプリ版の方にも同様の機能を付けたものをリリースしたいと思います。 今回は、人気キーワ... 続きを読む

• erogeeks.com
• テクノロジー

はじめに管理するMySQLサーバが増えてくると、クエリの品質管理が大変になってきますよね。 スロークエリログを、EXPALINの結果も含めたデータで一箇所に集められたら幾ばくかの手間が省けるかなーとか考えてました。 ので、fluent-plugin-mysqlslowquery + out... 続きを読む

• studio3104.hatenablog.com
• テクノロジー

19:07 | 皆様、ログ解析を行っていますか？GoogleAnalyticsも便利ですが、表で取れないデータの解析も行いたいですよね。そんな時にfluentdが便利です。内部の生ログからの解析が捗る、fluent-plugin-rewrite-tag-filter が安定版となりましたので、設定例を交... 続きを読む

• d:id:yoshi-ken
• テクノロジー

fluent-plugin-rewriteというfluentdのプラグインを作成した。以下、このプラグインの解決する問題について述べる。 問題 あるサービスのレスポンスタイム改善をしていて、まずは状況の可視化のために、fluentdを用いることにした。その際、たとえば トップペー... 続きを読む

• kentaro.hatenablog.com
• テクノロジー

できるかなと思って、とりあえず繋げてみたのでメモ。中途半端。 munin-node → Fluentdmunin-ruby で取得した値をまるごと fluentd に送信するスクリプトをcronで1分ごとに実行。 #!/usr/bin/env ruby require "munin-ruby" require "fluent-logger" host = "l... 続きを読む

• d:id:sfujiwara
• テクノロジー

RRDなどにメトリクスを書き込んでグラフを生成している場合、標準的なサーバだとCPUかHDDがボトルネックになって、Nagiosサーバ1台あたり持てるクライアントは、300台〜700台くらいが限度といったところでしょう。 数万台のサーバを管理する様な環境では、Nagio... 続きを読む

• 6pongi.wordpress.com
• テクノロジー

標準入力から受けたログを syslog に送信する場合に使えるのが logger(1) コマンドです。 $ echo "log message" | logger -t myapp -p local0.info 自分のところではバッチ処理の出力や、daemontools で起動したコマンドの出力を log/run で logger に渡して sy... 続きを読む

• d:id:sfujiwara
• テクノロジー

Fluentd for Small Projects @ Fluentd Casual 20120518 — Presentation Transcript Fluentd ForSmall Projects Structured logging Pluggable architecture Reliable forwardingKazuki OhtaTreasure Data, Inc.@kzk_mover Self-Introduction• Kazuki Ohta > ... 続きを読む

• www.slideshare.net
• テクノロジー

続きを読む

• dl.dropbox.com
• テクノロジー

fluent現状のfluentdでは、タグを動的に扱う方法がいまいち無い。具体的に言うと設定項目にタグに応じて変化するような指定をしたい場合、タグごとに分けて書くしかない。例えば out_file で出力先ファイル名をタグに応じてつけたい場合、タグの数だけ match 節... 続きを読む

• d:id:tagomoris
• テクノロジー

続きを読む

• dl.dropbox.com
• テクノロジー

fluent前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばた... 続きを読む

• d:id:tagomoris
• テクノロジー

fluentFluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算... 続きを読む

• d:id:tagomoris
• テクノロジー

続きを読む

• dayafterneet.blogspot.com
• テクノロジー