fluentdのin_tailプラグインの動作について理解する | デバッグライフ
fluentdは、ログ収集ツールで人気のソフトウェアとして広く知られており、私も以前から大変お世話になっているOSSのひとつです。ログファイルからデータを読み取り後続の処理にデータを流すfluentdに標準で組み込まれているtailプラグインは、最も良く使われる機能のひとつだと思いますが、内部の動作について理解が不十分だと、あれ？？と想定通りの結果が得られずハマってしまうこともあるかもしれません（私がそうでした。。）。ドキュメントを参照しながら設定するだけですぐに使い始められるのですが、何か障害がおきた時に内部動作についてある程度把握していることによって、その後の原因調査をスムースに進められることができると思います。そこで、備忘録の意味も込めて、tailプラグインについて自分なりに調べた内容をまとめてみました。 内容に間違いあれば指摘していただけると幸いです。 tail Input Plu
Ansibleのtemplateモジュールでtd-agent.confを作成してプライベートも充実 | DevelopersIO
コンニチハ、千葉です。 Ansible使ってますか！今日は、templateモジュールを使った効率的な設定ファイルの作成に関するお話です。 同じような設定(パラメータ)が書いてある設定ファイルってありますよね。これをを全て手で作成していると日が暮れる可能性があります。 例えば、このような設定ファイルです。(今回は、例としてtd-agent.confを扱いますが、httpd.conf等でも応用できます) ## for web-1.log <source> type tail format none path /var/log/web/web-1.log pos_file /var/log/web/web-1.log.pos tag web-1.log </source> ## for web-2.log <source> type tail format none path /var/log
Fluentdの正規表現を攻略する - Qiita
formatのデバッグツール Fluentdのログの正規表現が正しいかはFluentularで確認しならが操作できる。 http://fluentular.herokuapp.com/ ただし、これはHerokuの無料プランで動いているらしく使用できないことも多いのでDockerからでもできる 作成方法 定義されたフォーマットを指定するか正規表現を利用します。 定義されたフォーマット一覧 fluentd側で予め10個の定義が用意されています。デフォルトのログの設定を利用している場合はこれらを使用することができると思われるので使用すると良いでしょう。 apache2 apache_error nginx syslog tsv csv ltsv json none multiline ただし、注意点としてこれは常に通用するものではなく、該当する場合にのみ使用することができます。 apache2
Fluentdのカレンダー | Advent Calendar 2013 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
