You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
今日こんな事をつぶやいた。 #fluentd in_tailで読み込むファイルのシンボリックリンクを切り替えると、初めから終りまでのデータを一気に送信する仕様で合っているよね?挙動とコードの中でposが@file.write "0000000000000000\t00000000\n"になっているし。 2012-03-28 11:35:48 via Tween #fluentd in_tailのfollowing開始時にその時の実ファイルでも一緒か。これってその時点の末尾から更新があった分だけ送信するとか指定出来たっけ? 2012-03-28 11:41:34 via Tween で、なんでかというとfluentd+datacounterでログ量をCactiでグラフ化したりサマリを出していたりしたら、ある時間帯だけはどう考えてもそんなにログ量無いはずなのに数値が跳ねている。 よくよく考える
fluentd, プラグイン, 開発Fluentdのプラグインって割と簡単に開発できるので、ローカルで動かす程度ならさっくり作るのもありなんだけど、gem化もかなり簡単でした。参考にしたのは id:tagomoris さんの fluentdのためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場。わかりやすい!実際にやってみていくつか気づいた事をまとめる セットアップまずは上記記事に従ってセットアップを行う。もちろん名前は自分が開発したいプラグイン名を元に書き換えていくことになる。 bundle gem fluent-plugin-hogehoge する時には、要らないファイルがステージングされてる元々 bundle gem で作成されるファイル構成と fluent-plugin でのファイル構成は違うため、bundle gem した時点で既に git
みんな大好きfluentdはたいへん便利ですが、ログの収集&集約だけをしたい、というときにちょっとオーバースペック気味のところがあります。特に in_tail はログの読み込みと同時に parse をする仕組みになっており、まあログが書かれた場所ならparseのルールもわかってるでしょ、というところは合理的なものでもあるのですが、loadavgが高いサーバでそういうことをするのは正直にいってなかなか厳しいです。 そういうわけで以前に scribeline というエージェントツールを作ったのでこれを fluentd 以降後も使い続けていたのですが、ログをいったん集約するところの fluentd がCPU使用率的にいっぱいいっぱいになって厳しいものがありました。「scribe(Thrift)じゃなくてMessagePackにすれば倍くらいさばけるよ」ということを某開発者が言っていたような気もす
Installation This article shows how to install td-agent on Debian / Ubuntu systems. Currently, "Ubuntu 10.04 LTS / Lucid" and "Debian Sqeeze" are supported. Please follow these steps for those distributions. At first, please add the Treasure Data apt packages repository to your sources list. This command will set it up for you: sudo apt-add-repository 'deb http://packages.treasure-data.com/debian/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く