複雑な設定はありません．デフォルトで0.0.0.0:5044で起動し，topbeat，packetbeat，filebeatすべてのイベントを受け付けます．この設定だと固定タグですが，tagの代わりにmetadata_as_tagを設定すると，各イベントが持っているメタデータの設定を使うようになり，topbeatならtopbeatというタグが付くようになります．以下の"Elasticsearchに投げる設定例"を参照してください． filebeatが送ってくるイベントにはログそのものが含まれているので，これをbeatsプラグインの中でパースしたい場合には，in_tailのようにformatを指定すれば処理してくれるようになります． その他書いてない設定に関してはREADMEの設定セクションを参照してください． Elasticsearchに投げる設定例 各beatはlogstashのインデッ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

今年のカレンダーも1年のまとめから入ります．2015年はfluentd v0.12が開発のメインへと移行し，td-agent 2もv0.12を同梱するようになったので，v0.10からv0.12への移行がそれなりに進んだ年でした．また，11月にはv0.14のpreバージョンもリリースされ，来年のv1リリースを目指して着々と準備が出来た年でした． いつものようにFluentd本体にどういう更新があったのかや，エコシステム周りを含め書きます． Fluentd本体 現在の各バージョン別の最新バージョンは以下です． old stable: 0.10.61 current stable: 0.12.17 edge version: 0.14.0.pre td-agent 2がv0.12を同梱しているのもそうですが，v0.12が現在のメインバージョンです．v0.10を今から使う理由はないですし，ナノ秒対

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? きっかけ アドテクスキルアップゼミ　カラムナーデータベース検証まとめという記事が公開されたのですが，Presto/Impalaの結果があまりにも散々で，これはさすがに何かおかしいんじゃないかという話になってました． 今だとすでに記事に注釈が入ってますが，Presto/Impalaは生のテキストファイルを対象にしていたのが原因でした．なので，その辺について少し書き，実際Prestoはどんなもんなのかというのを簡単に示します． 列指向ファイルフォーマット Presto/Impalaが生のテキストファイルだったのに対し，他のクエリエンジンは違

Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2の二つのバージョンが並行してリリースされているので，まずそれぞれの違いについて書きます． td-agent 1 今までのメインバージョンであり，現在はold stable．同梱ライブラリの大きなバージョンアップはありません．最新版の1.1.21では以下のものが同梱されています Ruby 1.9.3 jemallocやmsgpackなど，コアライブラリ群 Fluentdとよく使われるプラグイン群 サ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

英語では少し情報はあるんですが，日本語だとTreasure DataのFluentdプラグインのまとまった情報がない気がしたので，とりあえず書いておく．いずれは公式ブログとかドキュメントの日本語化がされた時に整理されて公開される予定です． Treasure Dataに関しては，公式サイトや公式ブログに色々と記事が公開されているので，参照してみてください． http://www.treasuredata.com/jp/ http://treasure-data.hateblo.jp/ Treasure Dataプラグインについて その名の通りTreasure Dataにログを転送するFluentdプラグインです．Treasure DataのデータストアはスキーマレスなのでひたすらJSONなログを突っ込むことが出来，Fluentdと相性が良いです．実際はSchema on Readのアプローチ

Fluentdの公式ドキュメントにloggingのページがあるんですが，まだ英語しかなく，運用の話を聞いてるとここに書いてあることで解決出来るケースがいくつかあったので，とりあえず日本語で記事にしておきます． プラグイン毎のログレベル 昔のFluentdはグローバルに一つしかログレベルを設定出来なかったんですが，今ならプラグイン毎に設定出来ます．プラグインが対応している必要がありますが，まぁ今時のプラグインや広くつかわれているやつはほとんど対応していると思います． in_tailプラグインはログにマッチしない行があったらwarnでメッセージを出しますが，そういうbrokenな行があることが分かっていてログを出さずに無視して欲しい，というような場合に有効です． その他にも，あるプラグインだけデバッグモードで走らせたい，みたいなことが出来るようになります． ログのスタックトレースの抑制 Flu