flunetd、forward先がダメだった時にforward元である程度ログを担保したい · さよならインターネット
April 1, 2014 fluentdのbufferとforwardについて調べたのでメモ。 fluentd v0.10.45 追記( 04/02 00:27) @kenjiskywalker flushしようとしてできなかったbufferにもlimitまで溜まるから、1kbのbufferが128個で限界にはならないような気がしますが — fujiwara (@fujiwara) April 1, 2014 @fujiwara 今手元で試したんですけどflush_interval関係なさそうですね。普通にflush_interval 1s buffer_chunk_limit 10とか指定してもそれ以上のbuffer保持してました — kenjiskywalker (@kenjiskywalker) April 1, 2014 @tagomoris @fujiwara なるほど〜！ —
Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモ
Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う
OSS編～Fluentdで負荷分散を試してみる～
こんにちは！ JQです。 前回は『OSS編～Fluentdでrewrite_tag_filterを試してみる～』と題して、Fluentdでrewrite_tag_filterを試してみました。 今回は『OSS編～Fluentdで負荷分散を試してみる～』と題して、Fluentdで負荷分散を試してみたいと思います。 負荷分散 1. フォワード先のFluetnd設定 先ずはフォワード先の設定を行います。 フォワードを受け付けてローカルにファイルを出力する設定になります。 $ sudo vim /etc/td-agent/td-agent.conf <source> type forward port 24224 bind 0.0.0.0 </source> <match apache.**> type file path /var/log/td-agent/forward time_slice_
fluentdで始めるログ管理【フォワード設定まとめ】 | Tech-Sketch
この記事はeXcale Developer's Blogから移転されたものです。 eXcale開発チームの泉谷(@syguer)です。 今回は前回の続きとして、fluentdでログを他のサーバーに転送する方法について紹介します。 >>eXcaleは期間限定でサインアップキャンペーン実施中！気になる内容はこちら<< ログの転送について fluentdではアウトプットの手段として他のサーバーへの転送を選択することでログの集約を簡単に実現できます。 基本的な構成 設定と動作のイメージができるように、シンプルにあるサーバーからあるサーバーへ送信する例を見てみます。 以下がデータを送る側と送られる側の設定例です。 ※本記事ではバッファリングに対する設定はデフォルト値を使うため、以下のすべての例で設定はありません（設定しなければデフォルト値が使われます） バッファリングの設定については前回の記事を
OSS編～FluentdでForwardのStandbyを試してみる～
こんにちは！ JQです。 前回は『OSS編～FluentdでForwardを試してみる～』と題して、Fluentdでフォワードを試してみました。 今回は『OSS編～FluentdでForwardのStandbyを試してみる～』と題して、FluentdでフォワードのStandbyを試してみたいと思います。 Fluentd設定 1.Standbyフォワード先EC2の設定 Standbyとして利用するフォワード先EC2のFluentdに対してPrimaryと同じ設定をします。 <source> type forward port 24224 bind 0.0.0.0 </source> <match apache.**> type file path /var/log/td-agent/forward time_slice_format %Y%m%d%H%M time_slice_wait 5m
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
红河噶仙装饰工程有限公司
