fluentdのqueued_chunks_limit_size利用時の挙動の検証 - 技術的なメモというか、忘却録
fluentdのv1.3.3 で queued_chunks_limit_size が設定可能になり、説明に以下のようにあったけどパッと理解できなかったので確認をしました。 If you set smaller flush_interval, e.g. 1s, there are lots of small queued chunks in buffer. This is not good with file buffer because it consumes lots of fd resources when output destination has a problem. This parameter mitigates such situations. ref: https://docs.fluentd.org/v1.0/articles/buffer-section 結果として
BufferedOutput pluginの代表的なoptionについて - Qiita
こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl
fluentdからkafkaにログ送信する際のパフォーマンスチューニング - Qiita
はじめに fluentdからKafkaにデータ送信する際に、気にしておくべきfluentd側のチューニングポイントのまとめです。 fluent-plugin-kafkaのBufferedOutput前提です。 最初にデータが送信される際の流れを簡単に説明した後、チューニングポイントについて記載します。 使用ソフトウェアとバージョン kafka 0.10 fluentd v0.12 fluent-kafka-plugin(BufferdOutput) v0.57 Kafkaへ送信される流れ BufferedOutputプラグインではレコードはchunkと呼ばれる単位に区切られてバッファリングされます。 以下の記事にBufferedOutputの処理の流れが纏められており、参考になります。 本記事ではchunkがキューに入った後、Kafkaに送信されるにあたりどのような処理が行われるかについて
fluentdのrecord_transformerでログを加工する - sambaiz-net
<source> @type forward port 24224 bind 0.0.0.0 </source> <filter hoge.log> @type record_transformer enable_ruby auto_typecast true remove_keys b,d <record> what_is_tag ${tag} what_is_a ${record["a"]} what_is_c_of_b_add_1 ${record["b"]["c"] + 1} </record> </filter> <match hoge.log> @type stdout </match> この例だとタグを値に持つ"what_is_tag"、aを値に持つ"what_is_a"、b.cの値に1を足す"what_is_c_of_b_add_1"が追加され、 bとdが削除される。一旦ま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
