td-agent のメモリバッファとファイルバッファでどんな違いが発生するか観察してみた - ようへいの日々精進XP
はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォルトはメモリバッファだがファイルバッファがオススメ また、fluent-logger を使ってサーバーの負荷が激しく上がってしまった件について質問させて頂いたがよくよく考えるとこのバッファについて全く考慮しないままの利用だったので、この件でも解決への糸口になるのではということでメモリバッファとファイルバッファで何が違うのかを調べてみた。 構成 検証環境 以下のような検証環境を用意した。 役割 バッファタイプ / Output / アプリケーション OS td-agent バージョン スペック 備考 Forwar
fluentdの設定管理サーバーを構築 - s_tajima:TechBlog
概要 fluentdによるログの回収の構成を広げていくと、 多くのインスタンスにfluentdがインストールされることになるため、 全体に影響するような設定変更が面倒になりそうである。 そこで、fluentdの設定ファイルの中で include http://config-server/path/このようにinclude対象にhttp(s)でのリソース取得ができることに注目し、 この仕組を利用した構成を組むことで設定変更時の手間を減らす工夫をした。 構成 CONTROLLERと呼ばれるサーバーにfluentdの設定を配布するためのWebサーバー(config-server)を立てる。 config-serverは、GETパラメータによって返す内容(設定)を変更するようなものとする。 大した処理をしないので、今回はsinatraで実装。 今回実装した例で言えばGETパラメータにはホスト名を指
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
