td-agent の in_tail プラグインを使っている際に対象ログがローテーションする瞬間を見たい - ようへいの日々精進XP
きっかけ ということで、td-agent(fluentd) のin_tail プラグインでログのローテーションをどのように捕捉して追従していくかを調べたい やってみた 下記の環境においてクライアントから apache に ab でアクセスさせて確認する。 確認したいこと td-agent を介してログを記録している状況において、ログローテーションが発生した場合に td-agent はログの切り替わりを知って、それに追従するか。 純粋に access.log ファイルに記録される内容（件数）と td-agent を介した記録内容（件数）に際が発生ないか。（ちょっとした負荷テスト的なことも） 環境 サーバー Debian 6.0.7 Apache/2.2.16 (Debian) td-agent 0.10.35 redis 2.6.14 クライアント Ubuntu 13.04 ab 2.3 A
BufferedOutput pluginの代表的なoptionについて - Qiita
こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl
fluentd + elasticsearch ではまったところ - notebook
fluentd + elasticsearch + kibana fluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきます elasticsearchへの転送 dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪ とか思っていたら見事にはまりました。 送ったログをいざグラフ化しようとしても何も選択肢が無いｗ レスポンスコードとか、レスポンスタイムとか数値として扱うべきメニューが出てこない elasticsearch-headプラグインで型を確かめると全部stringになってる！！！！！ elasticsearch側でデフォルトテンプレートを用意してあげる方法もあるようですが、fluentd側で定義してあげればelasticsearchでは空気読んでくれるようなので今回は
これは便利！fluentdが更に便利になるfluent-plugin-forest | Tech-Sketch
この記事はeXcale Developer's Blogから移転されたものです。 eXcale開発チームの泉谷(@syguer)です。 今回はfluentdプラグインのfluent-plugin-forestについて紹介します。 fluent-plugin-forestは設定ファイルの書き方を拡張するプラグインです。 eXcaleでfluentdを活用していることは以前の記事でも紹介しましたが、fluentdの設定ファイルは書き方を工夫しないと冗長なものとなってしまいます。 eXcaleではそのような問題を解決する為にfluent-plugin-forestを使っています。 本記事では、そのfluent-plugin-forestの使い方について解説します。 ※ fluentdの基本的な使い方についてはこちらの記事を参照してください。 eXcaleでは期間限定でサインアップキャ
fluentdで出力したログの一部を文字列から数値に変換する - Qiita
以前、nginxのログをLTSV形式で出力して、fluentd経由でMongoDBに保存するの作業を実施したとき、ログの値がすべて文字列で保存されることに気付きました。 例えば、 status bytes_sent body_bytes_sent request_time upstream_response_time は、ストレージの省スペース化や検索インデクスのためにintまたはfloatで保持するのが望ましいです。 HTTPステータスコードで正常なリクエストのみを対象とするには200番台に絞り込む必要があり、MongoDB上では次のようなクエリで検索することが出来ます。 しかし、文字列で保存されている場合は大小で比較することが出来ないので、文字列の先頭一致で検索する必要が出てきて面倒なことこの上ありません（クエリは割愛）。 fluentdにプラグインを追加して型変換を行うことで回避でき
ElasticSearch勉強会 第6回
「Azure は生まれた時からPaaSでした。そして、PaaSという言葉から、開発プラットフォームとしての お得意の話をしたいところですが、そういう アプリ開発のPaaS機能 としての側面はだいぶ語りつくされてきてますので、今回はあえて、データベースストアとしての PaaS機能に絞ってお話させていただきます。」 #勉強会 #paasjp #PaaS勉強会 勉強会サイト https://paas.connpass.com/ イベントの実況まとめtg https://togetter.com/li/1128578?page=2
ElasticSearch/td-agentのセットアップと連携サンプル(Centos6.5) - Qiita
Intro 仕事でES/td-agentを触ることが多くなりローカルマシンでも テスト環境が必要になったのでその構築メモになります。(Vagrant上のCentOS6.5) ローカルApacheのログをサンプルにtd-agentとESの連携もしてみます。 環境 Centos6.5(Vagrant on Mac) ElasticSearch 1.3.6 td-agent 0.10.55 前提 VMはまっさらの状態です。 rootで作業してます。 手順めも 1.Developer Toolのインストール あとでfluentのplugin入れるときに困るので入れておきます。 gccとかその他たくさん入ります。
flunetd、forward先がダメだった時にforward元である程度ログを担保したい · さよならインターネット
April 1, 2014 fluentdのbufferとforwardについて調べたのでメモ。 fluentd v0.10.45 追記( 04/02 00:27) @kenjiskywalker flushしようとしてできなかったbufferにもlimitまで溜まるから、1kbのbufferが128個で限界にはならないような気がしますが — fujiwara (@fujiwara) April 1, 2014 @fujiwara 今手元で試したんですけどflush_interval関係なさそうですね。普通にflush_interval 1s buffer_chunk_limit 10とか指定してもそれ以上のbuffer保持してました — kenjiskywalker (@kenjiskywalker) April 1, 2014 @tagomoris @fujiwara なるほど〜！ —
Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモ
Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う
OSS編～Fluentdで負荷分散を試してみる～
こんにちは！ JQです。 前回は『OSS編～Fluentdでrewrite_tag_filterを試してみる～』と題して、Fluentdでrewrite_tag_filterを試してみました。 今回は『OSS編～Fluentdで負荷分散を試してみる～』と題して、Fluentdで負荷分散を試してみたいと思います。 負荷分散 1. フォワード先のFluetnd設定 先ずはフォワード先の設定を行います。 フォワードを受け付けてローカルにファイルを出力する設定になります。 $ sudo vim /etc/td-agent/td-agent.conf <source> type forward port 24224 bind 0.0.0.0 </source> <match apache.**> type file path /var/log/td-agent/forward time_slice_
fluentdで始めるログ管理【フォワード設定まとめ】 | Tech-Sketch
この記事はeXcale Developer's Blogから移転されたものです。 eXcale開発チームの泉谷(@syguer)です。 今回は前回の続きとして、fluentdでログを他のサーバーに転送する方法について紹介します。 >>eXcaleは期間限定でサインアップキャンペーン実施中！気になる内容はこちら<< ログの転送について fluentdではアウトプットの手段として他のサーバーへの転送を選択することでログの集約を簡単に実現できます。 基本的な構成 設定と動作のイメージができるように、シンプルにあるサーバーからあるサーバーへ送信する例を見てみます。 以下がデータを送る側と送られる側の設定例です。 ※本記事ではバッファリングに対する設定はデフォルト値を使うため、以下のすべての例で設定はありません（設定しなければデフォルト値が使われます） バッファリングの設定については前回の記事を
OSS編～FluentdでForwardのStandbyを試してみる～
こんにちは！ JQです。 前回は『OSS編～FluentdでForwardを試してみる～』と題して、Fluentdでフォワードを試してみました。 今回は『OSS編～FluentdでForwardのStandbyを試してみる～』と題して、FluentdでフォワードのStandbyを試してみたいと思います。 Fluentd設定 1.Standbyフォワード先EC2の設定 Standbyとして利用するフォワード先EC2のFluentdに対してPrimaryと同じ設定をします。 <source> type forward port 24224 bind 0.0.0.0 </source> <match apache.**> type file path /var/log/td-agent/forward time_slice_format %Y%m%d%H%M time_slice_wait 5m
fluentdでレコードにちょっとした処理をしてフィールドを追加する汎用的プラグインの比較 - Qiita
先日つくったfluentdによる簡易ブックマーク結構使ってるんですが、今後細かい分析をしていきたいと考えた時、ドメイン別のブックマークの傾向とか見れるといいなと思いつきました。 {"tag":["tech","ruby"],"title":"hatena-bookmark | RubyGems.org | your community gem host","url":"https://rubygems.org/gems/hatena-bookmark"} {"tag":["tech","ruby"],"title":"hatena-bookmark | RubyGems.org | your community gem host","url":"https://rubygems.org/gems/hatena-bookmark", "domain":"rubygems.org"} というよ
FluentdでバッファつきOutputPluginを使うときのデフォルト値 - たごもりすメモ
なんか自分で docs.fluentd.org へのpatchを書いてて混乱してきたのでまとめる。コードを読んでも関係する設定値がいくつものモジュールに分散しており、完全に把握することが困難である。具体的には、この組合せを記憶だけで答えられる fluentd コミッタはおそらく一人もいない。 概要 対象は BufferedOutput および TimeSlicedOutput を継承している output plugin の全て*1。out_forward, out_exec や out_exec_filter も含まれる。 基本的にはいくつかの設定により flush をするタイミングを制御するパラメータ一式、およびflush対象となるデータのチャンクを溜めておく量の上限を決めることとなる。fluentd をうっかり試したときに「アイエエエ、fluent-cat してみたんだけど、設定したと
#fluentd のためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場
前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount
Martin Fowler's Bliki in Japanese - 流れるようなインターフェース
http://www.martinfowler.com/bliki/FluentInterface.html 2005/12/20 数ヶ月前、Eric Evansと一緒にあるワークショップに参加した。 そこで彼がとあるインターフェースのスタイルについて語ったのだが、 我々はそれを「流れるようなインターフェース（fluent interface）」と名づけることにした。 一般的なスタイルではないが、もっと評価されるべき代物だ。 おそらく例を示したほうがいいだろうから、そうしてみることにする。 一番簡単な例は、EricのtimeAndMoneyライブラリだろう。 時間の間隔を作るには、通常は、以下のようにする。 TimePoint fiveOClock, sixOClock; ... TimeInterval meetingTime = new TimeInterval(fiveOClock,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
红河噶仙装饰工程有限公司
fluentd を利用した大規模ウェブサービスのロギング
fluentd を使った大規模ウェブサービスのロギング - 2nd life (移転しました)