Fluentdの設定調査 - Qiita
メモ @が必要なシステムパラメータ @type，@id，@label，@log_levelはプラグイン本体の設定ではなくて Fluentdコアの設定なので@をつける。 format指定 format による指定は古い設定方法。 v1.0からparse プラグインとして 内で指定することが推奨されている。 例) 古い設定方法 <source> @type tail path /var/log/httpd-access.log pos_file /var/log/td-agent/httpd-access.log.pos tag apache.access format apache2 </source>
fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 - Qiita
はじめに fluentdに関するメモ書きです。ここでは、設定ファイル(主にInput/Filter/Output関連)について調査/テストした内容を記載します。 関連記事 fluentdメモ - (1) インストール/簡易操作 fluentdメモ - (2) 設定ファイル概要 fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 fluentdメモ - (4) 設定ファイル調査 Buffer編 設定ファイルメモ 入力関連 tcp 特定のポートをListenしてTCPによりJSONデータを受け取ってみます。 <system> log_level debug </system> <source> @type tcp port 8081 tag tcp.event bind 0.0.0.0 <parse> @type json </parse> </sou
fluentdメモ - (2) 設定ファイル概要 - Qiita
はじめに fluentdに関するメモ書きです。ここでは、設定ファイル周りについて記載します。 <環境> RHEL V7.5 td-agent v3 (fluentd v1) 関連記事 fluentdメモ - (1) インストール/簡易操作 fluentdメモ - (2) 設定ファイル概要 fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 fluentdメモ - (4) 設定ファイル調査 Buffer編 概要 fluentdは、データの収集/加工に使われるソフトウェアであり、Logstashなどと同じように基本的には Input => Filter => Output という処理が行われます。 Logstashの設定ファイルは、この機能の名前と設定ファイルで指定する名前が一致する(設定ファイルでもInput/Filter/Outputというキーワー
fluentdによるログ収集システムの構築～基本編
サーバーのセットアップ fluentdのインストール公式ドキュメントのとおり、インストーラーを実行してインストールします。 $ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash 実行すると、TresureDataのリポジトリ(/etc/yum.repo.d/td.repo)が作成され、RPMパッケージがインストールされます。 [vagrant@fluentd-server ~]$ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash This script requires superuser access to install rpm packages. You will be prompted f
Fluentdと戯れる - サーバーワークスエンジニアブログ
カメラマン兼プログラマー(ぶちょお兼取締役談)の竹永です。 カメラのレンズを購入していなかったら、洗濯機が買えていたことに最近気がつきましたが、反省も後悔もしていません。良い子は真似しないでください。 さて、僕の近頃の業務はビッグデータやBIなど、レイヤーが上であっち方向の検証業務が多めです。 検証するためにはあっち系ツールの他に、日頃から発生しているデータをたくさんかき集めないといけませんが、そんなデータをローカルに持っているわけがありません。 ということで、社内と雲の上に転がっている色々なものから、色々なデータをかき集めることにしました。 前提条件 相変わらずEC2上のAmazon Linuxで検証しています。 それぞれのバージョンは以下のとおりです。 amzn-ami-hvm-2015.09.0.x86_64-gp2 (ami-9a2fb89a) Fluentd v2.2.1 (td
いまさらだけど fluentd に入門した - えいのうにっき
仕事で僕が担当してるプロダクトでも、「そろそろ fluentd を...」という話題が出始めた。 社内の別プロダクトでは既に導入されてるものもあったりして、たぶん会社的にはノウハウも溜まり始めてきてるとは思うんだけど、なにせ僕自身が fluentd について雰囲気しかわかってないままだったので、それじゃイカンなと、いまさらだけどようやく fluentd に入門した。そのついでにメモった内容を晒す。 入門前のイメージ みんな「アプリは何も考えず、とりあえず fluentd に投げとけば幸せになれる」って言ってる なので、そういう感じの存在なんだろうな fluentd は、くらいの理解しかない 具体的にどう幸せになるのかはあんまり想像が付いてない "d" がついてるので、デーモン的な何かかな？ ロゴがイカしてる くコ:彡 ゴール 実際に導入するとなったら具体的にどんなことをしなければいけないの
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
#fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店
MTA が吐く maillog は普段あまり見ないのだけど、トラブルがあったときには大変重要。これも Mongo に入れれば、問い合わせがあったアドレスで検索してログを管理画面で見るとかできて便利！ということでやってみた。 # fluentd.conf <source> type tail path /var/log/maillog tag maillog format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :]+)[ :])? ?((to|from)=<(?<address>[^>]+)>)?.*)$/ </source>正規表現がなかなかですが、これで maillog を parse して以下のような生ログから 2012-03-26T19:49:56+09:00 worker00
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ubuntuでログローテートするためにfluentdを導入する｜BaronHack