fluentd / td-agent がいろいろ便利になってた
しばらくぶりに fluentd / td-agent 案件の対応をしたら、いろいろ機能追加されてたりして便利になっていたのでメモ。（2014/7/19 出力フォーマット指定のところに追記しました） The td-agent ChangeLogfluentd ChangeLogtd-agent 1.1.18 で rewrite-tag-filter が同梱されるようになったこれまで追加で してたけど不要になりました。install しようと思って実行したらもう入ってるよって言われた… td-agent 1.1.19 で tail-ex が不要になったtd-agent 1.1.19 で fluentd v0.10.45 となったので tail-ex の merge が反映されました。 Release 0.10.45 - 2014/03/28 in_tail: Merge in_tail_ex
fluentd の out_file でファイル数を減らしたいなら append を使う
td-agent-2.3.1-0.el6.x86_64 (v0.12.20) で確認 fluentd の out_file は TimeSlicedOutput を継承して作られており、日別や時間別（time_slice_format で指定可能）にファイルを出力できるようになっています。 デフォルトで file buffer となっており buffer を flush する際に最終的なファイルに保存されます。flush される buffer ファイルがそのまま最終的なファイルとなるため、勝手にこれは rename されているのだろうと思ってました。 buffer_chunk_limit のデフォルトは 8MB でこのままだと1GBあたり128個というファイル数になってしまってちょっと多すぎるなということで 500MB まで増やしてみたのです。 そうすると0時過ぎにすごく重くなるという現象
Fluentd v0.14 で buffer chunk が flush されるまでの動きをまとめてみた
Written by @ryysud Jul 25, 2017 01:01 · 1032 words · 3 minutes read #fluentd 前置き fluent-plugin-webhdfs を利用して HDFS に転送するファイルのサイズを制御する際に Buffer Plugin のパラメータ周りで少し混乱したので備忘録的にまとめておくことにした。 そもそも buffer chunk の制御はどこで行われているか？ Buffer Plugin が buffer chunk の制御を行う Buffer Plugin は Output Plugin に組み込む形で利用される flunetd に組み込みで提供されている Buffer Plugin memory Buffer Plugin file Buffer Plugin 引用：Buffer Plugin Overview v
Fluentd＋WebHDFSの書き込み問題 | 外道父の匠
以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの話になります。 HDFSファイルのCREATEエラー 複数のFluentd CollectorからHDFSの１ファイルへ共通して書き込むというスタイルをとってみました。こんな感じに１分毎のHDFSファイルとして。 Collector-01 ─┐ Collector-02 ─┤ Collector-03 ─┼─> HDFS %Y%m%d-%H%M.log Collector-04 ─┤ ...
fluentd がバージョンアップしたので確認した - ようへいの日々精進XP
概要 fluentd(td-agent) がバージョンアップしたので確認した バージョンアップについて Change Log 幾つかの修正等に合わせて、個人的に注目したのは td-agent の起動スクリプトで configtest オプションが利用出来るようになったこと configtest に関しては、改めて Change Log を確認すると 0.10.36 から利用出来るようになった --dry-run オプションを利用している（後述） バージョンアップ 環境 OS は Debian 6.0.7 td-agent は既に 0.10.35 が稼働している状態（下図） バージョンアップ後 こちらから deb パッケージをダウンロードして dpkg -i でサクッとインストール 下図のようにバージョンが 0.10.38 となった 個人的目玉な機能を試す configtest td-age
Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ]
Fluentd Linux Tool Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ] この記事では実運用環境で使用している td-agent2 を td-agent3 にバージョンアップする手順を解説します。実際にかなり多くの変更が行われているシステム(秒間数百件程度の変更が行われている)において、td-agent2 より td-agent3 の方が格段に動作が早いです。 td-agent2 でのパフォーマンス問題 td-agent2 を使って本番システムでのログファイルをデータベースに転送するシステムを構築しましたが、何故かデータの反映がとてつもなく遅いことが分かり、Fluentd 公式サイトで設定を１つ１つ見ながら原因を探ってきました。またシステムの負荷状態やメモリー使用量にも問題なく、では設定に問題がある
![Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f4fef4edf9a30eff6ea1518a2685b177b8a6bbb0/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEh-0tWdvOW5PDqcb_enRCL9p_f_tQu1whSYVLg__8iFq1BYFE3d-AVQBkOxrG6TJ_VMAytoa21Ikg_Vgtnw3-UStaboUs4GuksO9OYIIGA8Nivdc0eRxSH0Woul-AxkdaiK0HIYnYPCAjA%2Fw1200-h630-p-k-no-nu%2Fhand-2722107_640.jpg)
fluentdで統計情報を取るぞの巻
fluentdネタが好評だったので。 vmstat・メモリ使用率・ディスク使用量をfluentdで定期的に収集します。 シェルスクリプトにするのも面倒だったので、ワンライナー処理。 ポイントはawkでOFSを指定すると、タブ区切りに出来るところでしょうか。 # Performance Check --------------------------- <source> type exec command vmstat | awk 'BEGIN{OFS="\t"} NR==3 {print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12,$13,$14,$15,$16,$17}' keys procs-r,procs-w,mem-swpd,mem-free,mem-buff,mem-cache,swap-in,swap-out,io-blockin,io-blo
fluentdで死の宣告queue size exceeds limit - orenoblog
最近fluentdでアクセスログやスロークエリログを収集しています。 しかし困ったことにqueue size exceeds limitが発生してしまい、アクセスログの集計ができなくなってしまいました。 2013-**-** **:**:** +0900 [warn]: emit transaction failed error_class=Fluent::BufferQueueLimitError error=#<Fluent::BufferQueueLimitError: queue size exceeds limit> buffer_type memoryで運用するにはリソースに余裕のないサーバなので、 buffer_typeをfileに変更してみました。 <match *.apache.access> type forward <server> host <forward_hos
Fluentdの障害時動作 - Tech Notes
Fluentdが障害の時にどのような動作をするのか調べてみたので、そのメモ. td-agent 1.1.17(fluentd v0.10.39)で確認したつもりだが、もしかしたらもう少し新しいので確認したケースもあるかも. BufferedOutputを中心に記載している. BufferdOutputの基本 fluentdの特徴の一つとして、fluentd送信先で障害があり、メッセージが送れなかった場合は大抵(BufferedOutputを使っているプラグインであれば)fluentdでバッファリングし、一定時間後に再送してくれる. このバッファリングのサイズは、BufferedOutputプラグインのbuffer_chunk_limit*buffer_queue_limitで決まる. これらのデフォルト値は以下に解説付きでまとまっている. (良く参照させて頂いています) Fluentdでバ
td-agentでqueue size exceeds limit - Glide Note
昨年構築してからずっと安定稼働していたfluend(td-agent)が年明けくらいから下記のエラーが出て連日停止してしまって、 ちょっとハマったのでメモしておく。(ハッキリとした原因は掴めてないですが) 利用しているtd-agentのバージョンはtd-agent-1.1.18-0.x86_64。 現象 fluent.logには下記が出ていて、機能が停止している。 2014-01-09T20:28:59+09:00 fluent.error {"error":"#<Fluent::BufferQueueLimitError: queue size exceeds limit>","error_class":"Fluent::BufferQueueLimitError","message":"forward error"} 2014-01-09T20:28:59+09:00 fluent.w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd
stdout - Fluentd
chef-bcpc/fluentd-td-agent.conf.erb at master · bloomberg/chef-bcpc · GitHub
【ruby】gemをオフラインでインストールする方法
Frequently Asked Questions | Fluentd
GitHub - fluent/fluent-plugin-sql: SQL input/output plugin for Fluentd
GitHub - uken/fluent-plugin-postgres
gemを使ってインストールしたプラグインを削除する - プログラムメモ
GitHub - y-ken/fluent-plugin-twitter: Fluentd Input/Output plugin to process tweets with Twitter Streaming API.
Fluentd