[B! Fluentd] tarhashiのブックマーク

超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット

January 5, 2013 fluentdをまともに動かしたことないけどプラグイン書いたらわかるのでは！！？と思い立って取り敢えず下地だけつくったのでメモ。参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ

tarhashi 2014/03/06

リンク

#fluentd のためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場

前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount

tarhashi 2014/02/26

リンク

ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio

ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたいログ収集ツールFluentdを使ってリアルタイム集計などを行いたい落とし穴その１「request_first_line」一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT