Fluentdのfilter_grepの設定で少しはまった。 - ふり返る暇なんて無いね
fluentd 0.12.15 の話です。 結論から言うとFluentdのfilter_grepが、keyの後にスペース1個しか許容してくれません。 なので、下記のようにそろえるために、スペースを余分に入れると、意図しない正規表現になってしまいます。 <filter fluent.info> type grep exclude1 message (?:^out_forest plants new output|adding rewrite_tag_filter rule) </filter> 正しくはこう。 <filter fluent.info> type grep exclude1 message (?:^out_forest plants new output|adding rewrite_tag_filter rule) </filter> ソース的にはこのあたりで、スペース一個で
fluentdで不要なログを取り除くfilterプラグインを作った - Qiita
概要 Fluentd v0.12から利用できるFilterの機能を利用して、ログから正規表現でマッチしたものを取り除くfluent-plugin-ignore-filterを作りました。 grep-filterと何が違うのか Fluentd v0.12以降には grep Filter Plugin という @sonots さんの fluent-plugin-grep を取り込んだフィルタが組み込まれています。 こちらはログから正規表現で「マッチしたものを抽出する」プラグインです。 grepフィルタにはexcludeオプションがあるため、こちらを利用することで不要なログを取り除くことは一応可能です。 しかし、こちらのプラグインは「マッチしたログを通す」ためのフィルタのため、 マッチしたものを除外する目的で利用しようとすると、パース済みのログに対しand条件で除外できないという問題がありました
fluentdのexec_filter Output PluginでPythonプログラムを使う - Qiita
exec_filter Output Plugin (out_ecec_filter)は要するにフィルタ処理を任意のプログラムを使ってかませられる。例えば次の処理に不要なレコードを落したり、エラーとしてどこかに保存したり。ここでPythonプログラムを使ってみる。 設定 次の通りにしてみた。 <match hoge> type exec_filter command /path/to/python -m myapp.fluent_stream_filter time_key time in_format json out_format msgpack buffer_type file buffer_path /path/to/buffer buffer_chunk_limit 8m buffer_queue_limit 64 flush_interval 10s tag fuga </ma
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
