毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで

Fluentd v0.12.16でプラグインの設定をコマンドラインから確認する方法 クリアコードさんのブログで既に書かれてますが，fluentdはv0.12.16から，プラグインの各パラメータを定義するconfig_paramに説明が付与できるようになってます．今だと二つ付与する方法があります．以下はout_stdoutのoutput_typeの例です． :descオプション config_param :output_type, :default => 'json', :desc => 'Output format.(json,hash)'

今年のカレンダーも1年のまとめから入ります．2015年はfluentd v0.12が開発のメインへと移行し，td-agent 2もv0.12を同梱するようになったので，v0.10からv0.12への移行がそれなりに進んだ年でした．また，11月にはv0.14のpreバージョンもリリースされ，来年のv1リリースを目指して着々と準備が出来た年でした． いつものようにFluentd本体にどういう更新があったのかや，エコシステム周りを含め書きます． Fluentd本体 現在の各バージョン別の最新バージョンは以下です． old stable: 0.10.61 current stable: 0.12.17 edge version: 0.14.0.pre td-agent 2がv0.12を同梱しているのもそうですが，v0.12が現在のメインバージョンです．v0.10を今から使う理由はないですし，ナノ秒対

背景 Rubyで文字列の時間表現を時間に変換するにはTime.strptimeをよく使います．以下は公式リファレンスの例です． Time.strptime('2001-02-03T04:05:06+09:00', '%Y-%m-%dT%H:%M:%S%z') #=> 2001-02-03 06:05:06 +0900 これは楽でとても便利なんですが，Time.strptimeには遅いという致命的な問題があります．例えばFluentdのようなひたすらログを読み込んでパースするソフトウェアの場合，Time.strptimeそのものがボトルネックになります．これはTime.strptimeは毎回文字列フォーマットをパースしないといけないなど，いくつかの要因があります． Fluentdでこの問題をどう解決していたかと言うと，文字列をキャッシュして，前と文字列が同じであればTime.strptime

すでにアナウンス済みですが，Treasure Agent(td-agent) 2.2.0を出しました td-agent 2.2.0 - Google Groups パッケージ内の更新は以下の通りです． fluentd v0.12.7 fluent-plugin-s3 v0.5.7 fluent-plugin-mongo v0.7.8 td v0.11.8.2 fluentd-ui v0.3.18 ruby 2.1.5 json 1.8.2 cool.io 1.3.0 Amazon Linux support fluentd v0.12 このバージョンから，fluentdがv0.10ではなくv0.12系が使われるようになりました．その結果，Filter/Label，forwardプラグインでのat-least-onceなどが使えるようになります． これらの機能に関しては，v0.12のリリース

Fluentd Advent Calendar 2014最後の記事は，Fluentdやその周辺の今後について書きます． v1を来年出す予定です．v1そのものは大きく後方互換性を損なう予定はないです．今月出したv0.12，そして来年の冬/春に出す予定のv0.14で導入される新しいAPI群が固まったら，v1がリリースされます． v0.12ではFilter/Labelが入りイベントルーティングが改善されましたが，v0.14では他のコア部分を改善します．今のところ大きめなものとして以下の機能追加・変更を予定しています: 各プラグインの改善 Actor(名前変わるかも？)の導入・スレッドハンドリング周りの改善 Bufferプラグインでより細かな制御が出来るように イベント時間のミリ秒 or ナノ秒のサポート ServerEngineでスーパーバイザー/エンジン部分を置き換え これらはv0.14で入れ

12月12日にFluentd v0.12をリリースしました．ここでは出たばかりのv0.12について書きます．v0.12はv1リリースのための準備マイナーバージョンアップの一つで，なるべく互換性を維持しつつ新機能や新しいAPIを実装しています．以下がv0.12で提供される主な新機能です． フィルタ ラベル ログ転送でのAt-least-once semantics 新しいParser/Formatterクラス このうち，一番下の機能はv0.10にもバックポートされています．それぞれ説明していきます． フィルタ Fluentdで一番待ち望まれていた機能です．Fluentdはロバストなログ転送にフォーカスして開発されているログコレクタで，貯めた後にHadoopでバッチを回したり，Prestoでアドホッククエリを投げるなどがよくある構成です． ただ，ログを貯める前に速報値を出したいとか，ログ本体に

毎年恒例1年のまとめ記事です．2014年はFluentdの飛躍の年でもあったので，エコシステム周りも含め色々と紹介したいと思います． 2014年は0.10.43から始まり，v0.10の最新版は0.10.57，v0.12が開発版としてpre2までリリースされています．v0.12に関しては13日，v1を含めた来年の開発に関しては25日に書く予定です． Fluentd本体 すべてを列挙するのは難しいので，すべてを見たい方はChangeLogを参照してください．ここでは特に運用やプラグイン周りで有用なものをピックアップします． プラグイン毎のlog_levelオプション (0.10.43) グローバルなレベルとは別に，各プラグイン毎にログレベルを設定出来る機能です．詳細は以前書いたFluentdのロギングを参照してください． sigdump (0.10.43) sigdumpが同梱されるようになり

きっかけ アドテクスキルアップゼミ　カラムナーデータベース検証まとめという記事が公開されたのですが，Presto/Impalaの結果があまりにも散々で，これはさすがに何かおかしいんじゃないかという話になってました． 今だとすでに記事に注釈が入ってますが，Presto/Impalaは生のテキストファイルを対象にしていたのが原因でした．なので，その辺について少し書き，実際Prestoはどんなもんなのかというのを簡単に示します． 列指向ファイルフォーマット Presto/Impalaが生のテキストファイルだったのに対し，他のクエリエンジンは違うフォーマットでデータを保存していて，これがかなり結果に響いてます．Redshift，BigQuery，Treasure Dataなど，データ解析系のサービスは皆列指向フォーマットを採用していて，データインポート時に勝手に変換が行われます．列指向フォーマット

Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2の二つのバージョンが並行してリリースされているので，まずそれぞれの違いについて書きます． td-agent 1 今までのメインバージョンであり，現在はold stable．同梱ライブラリの大きなバージョンアップはありません．最新版の1.1.21では以下のものが同梱されています Ruby 1.9.3 jemallocやmsgpackなど，コアライブラリ群 Fluentdとよく使われるプラグイン群 サ

テストの書き方 基本 今までのTest::Unitと変わらないので，classで書く．ただ，昔のTest::Unitとは違い，TestCase毎に呼ばれるstartupやshutdownなどが増えている． require 'test/unit' class TestSample < Test::Unit::TestCase class << self # テスト群の実行前に呼ばれる．変な初期化トリックがいらなくなる def startup p :_startup end # テスト群の実行後に呼ばれる def shutdown p :_shutdown end end # 毎回テスト実行前に呼ばれる def setup p :setup end # テストがpassedになっている場合に，テスト実行後に呼ばれる．テスト後の状態確認とかに使える def cleanup p :cleanup