fluent-plugin-file-alternative の symlink_path メモ | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに fluent-plugin-file-alternative で日付毎にログを吐きたいけど監視ツールからそのログを監視したいと思った時に監視ツールの設定ファイルを日付毎に用意、書き換えるのは現実的ではないと思ったので fluent-plugin-file-alternative で何とか対応出来ないかなと思っていたら symlink_path というオプションがあったので使ってみたメモ。 参考 tagomoris/fluent-plugin-file-alternative プラグインのインストール /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-file-alternative --no-ri --no-rdoc -V td-agent.conf 以下
td-agent(fluentd)でtagを色々してみたメモ①-タグにhotname追加、タグを書き換え、タグを入れ替えとかとか - tweeeetyのぶろぐ的めも
はじめに td-agent使って最初はすこし四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です また、各プラグインの詳細は開発者の方のサイトや参考になるサイトも多数あるので ピンポイントで使った感じだけをそのままメモ 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめをメモっておきました →td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ－まとめ ながれ こんな感じで書いてみました 前提とか(fluent-plugin-parser) 前提 関連ディレクトリ構成 イメージ タグにhostname追加したい(fluent-plugin-config-expander) タグをjsonの中身でパターンマッチングして書き換えたい(fluent-plugin-rewrite) タグを入れ替
Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独
Collecting Log Data from Windows | Fluentd
In this article, we explain how to get started with collecting data from Windows machines (This setup has been tested on a 64-bit Windows 8 machine). As of v10, Fluentd does NOT support Windows. However, there are times when you must collect data streams from Windows machines. For example: Tailing log files on Windows: collect and analyze log data from a Windows application. Collecting Windows Eve
fluentd の parser と formatter をカスタマイズしていい感じにログを集約する | TECHSCORE BLOG | TECHSCORE BLOG
はじめまして、インフラエンジニアの末廣です。 この記事は TECHSCORE Advent Calendar 2014、15日目の記事です。 fluentd は今や広く使われているログコレクターであり、もはや説明の必要もないでしょう。 弊社でもログ集約・ログ解析の前処理・イベント検知などに利用しています。 この記事では fluentd (td-agent 2.1.2, fluentd-0.10.57) による生ログ集約を題材に、Parser plugin や Formatter plugin によるカスタマイズについて説明します。 ※ 12月14日に v0.12 がリリースされて Parser plugin と Formatter plugin の新 API が利用できるようになったので、最後に新 API についても触れます。 生ログの転送 かつて、素の fluentd ではログを生のまま
ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
