goでfluentdを使ってlogを吐いてみる その2
前回まで前回はfluent-logger-golangを使ってfluentdにログを吐いてみました 今回は少し踏み込んで実際のアプリで使う場合を想定して使ってみました｡ 複数のstructをログに送りたいが…実際にアプリを運用するとなると複数のstructの値をログに出力したいときがあるかと思います｡ 今回はPlayer と PlayerComment をつかいます｡ type Player struct { ID int `msg:"id"` Name string `msg:"name"` } type PlayerComment struct { ID int `msg:"id"` Comment string `msg:"comment"` PlayerID int `msg:"player_id"` CreatedAt int64 `msg:"created_at"` Updat
fluentdのout exec pluginの使い方がわからなかったから色々試してみた - 日頃の行い
ランキング参加中プログラミング タイトルの通り fluentdのout exec pluginを試してみました。 http://docs.fluentd.org/articles/out_execdocs.fluentd.org リンクが切れていたので追記です。 docs.fluentd.org 概要 dummerによって作成したltsv形式のlogファイルをtail input pluginで監視して exec output pluginで何らかの操作をする ということをします。 dummerなどについては下記の記事を参考にしていただければと・・・ arata.hatenadiary.com 構成 fluentd 0.12.7 $tree . ├── dummer.conf.rb ├── exec.sh ├── fluent.conf dummer.conf.rb configure '
Macにtd-agent(fluentd)をインストール(homebrewは2014/9現在、もう使えない)
Macにtd-agent(fluentd)をインストール(homebrewは2014/9現在、もう使えない) td-agent(fluentd)をMacにインストールしよう！と思ったとき、大半の人はhomebrewを使おうと思うのでは無いでしょうか。ですが、2014年9月現在、homebrewではインストールできません。 今回はhomebrew無しでtd-agentをインストールする方法についてです。ちなみにtd-agentはfluentd+Rubyのパッケージという感じの物です。fluentdのオールインワンパッケージ的な感じです。 homebrewではインストールできない 2014/9現在、homebrewではインストールできなくなっています。 ここ(http://d.hatena.ne.jp/katsyoshi/20130419/1366363964)などを見るとできそうに見えるので
fluentd copyプラグイン条件分岐 - Qiita
今更だけど、fluentdで一つのタグ(一部条件マッチする)に対して、条件分岐的に複数のアウトプットを行いたい時に少しはまったのでメモ。 要は、copyプラグインのstore句にタグ条件が書ける事を知ったという話です。 やりたい事 複数サーバから出てくる一つ一つのイベントに対して、一部マッチする複数のタグ条件で異なる処理を行いたい。 例えば、アクセスログを集めてきて、 ①web.a.bというタグのものは、file出力とs3保管 ②xweb.a.bというタグのものは、file出力のみ こんな時、下記のようなフィルタを何も考えずに書くと、#1のファイル出力だけ処理され、#2のs3への処理は行われない。 個人的にはちょっと忘れがちだけど、fluentdは一つのイベントに対して、先にマッチするものがあると後のmatch句は効かない。。 #1 <match *.a.b> type file path
Fluentular: a Fluentd regular expression editor
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
fluentd(td-agent)のインストールと設定
fluentd / td-agent とは fluentd とは fluentdはruby gemによって提供されるログ転送/収集の仕組みです。rsyslogdでは実現できないような大量ログの収集/分析を行う目的で使用すると良いと思います。 td-agent とは td-agentとはfluentdのラッパープログラムです。ruby, gem等のプログラムや起動スクリプトなどの便利なファイルをインストールコマンドひとつで提供してくれます。td-agentは環境変数PATHには存在しないディレクトリにrubyやgemをインストールしてくれるので、システム全体への影響を与えずにfluentdが使えるメリットがあります。 fluentdのデメリット(弱点) fluentdは万能ではなく、業務要件によってはクラシックなrsyslogdを使用する方が良い場面も存在します。以下にfluentdの弱点を
fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note
Fluentdを触るようになって、いろんなログをfluentdに 渡すように試行錯誤している最中。 td-agent.conf、fluent.confを用意するときに任意のjson形式にするために 正規表現を用いてformatを書く必要があるんですが、formatの作り方というかデバック方法について どういう手順に作ると良いのか情報がネット上に見当たらず試行錯誤中。 もっと良い方法を教えてもらいたいので、今やっている方法を晒してみる。 そもそもの疑問、どうやってformatを作るのか たとえばfluentd関連の情報を調べてると、 #fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店 format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
fluentdと定番プラグインのインストール
fluentdと定番プラグインのインストール：今さら聞けないfluentd～クラウド時代のログ管理入門（2）（1/2 ページ） 前回の記事「増えるログ、多様化するログをどう効率的に運用するか」では、fluentdの大まかなアーキテクチャについてご紹介しました。第2回では、fluentdがどういったものであるかをもう少し具体的に理解するために、実際の利用までの流れを紹介します。 fluentdの使い方 fluentdを利用するには、各サーバーにfluentdをインストールし、どのプラグインを使って処理を行うかについての設定が必要になります。 インストール手順 fluentdはさまざまな方法でインストールできます。例えば、 rpmパッケージによるインストール（CentOS、Red Hat Enterprise LinuxなどのOS向け） debパッケージによるインストール（Ubuntu、Deb
Quickstart Guide | Fluentd
Let’s get started with Fluentd! Fluentd is a fully free and fully open-source log collector that instantly enables you to have a ‘Log Everything’ architecture with 125+ types of systems. Fluentd treats logs as JSON, a popular machine-readable format. It is written primarily in C with a thin-Ruby wrapper that gives users flexibility. Fluentd’s scalability has been proven in the field: its largest u
fluentd(td-agent)で、td-agent.logのローテートをとりあえずする方法 - oranie's blog
追記： やっぱこれをみんな悩むよね・・・と思って改めて色々ググり直したら思いっきり既知の問題かつ同じ手法（logrotateを使用する方法）でISSUEにも上がっていました。RHEL系でのtd-agent.specに既に書かれているのでリリース待ちですね。 https://github.com/treasure-data/td-agent/blob/master/redhat/td-agent.spec https://github.com/treasure-data/td-agent/commit/ad7885ff4956c420a37d9a87c783ed81c422c53d - 表題のままです。まあ、そんな大量にエラーログとか出ている状態で運用する事無いんですけどね。ただ、一定サイズとか一定日次とかでローテートしておきたいじゃないですか。 で、今のfluentdの挙動を見る為にlib
fluentdで始めるログ管理【フォワード設定まとめ】 | Tech-Sketch
この記事はeXcale Developer's Blogから移転されたものです。 eXcale開発チームの泉谷(@syguer)です。 今回は前回の続きとして、fluentdでログを他のサーバーに転送する方法について紹介します。 >>eXcaleは期間限定でサインアップキャンペーン実施中！気になる内容はこちら<< ログの転送について fluentdではアウトプットの手段として他のサーバーへの転送を選択することでログの集約を簡単に実現できます。 基本的な構成 設定と動作のイメージができるように、シンプルにあるサーバーからあるサーバーへ送信する例を見てみます。 以下がデータを送る側と送られる側の設定例です。 ※本記事ではバッファリングに対する設定はデフォルト値を使うため、以下のすべての例で設定はありません（設定しなければデフォルト値が使われます） バッファリングの設定については前回の記事を
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd
株式会社コロプラ【位置ゲーで毎日の移動を楽しく】