Fluentd update 2016 - Qiita
毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで
strptime gemで高速に文字列をTimeに変換する - Qiita
背景 Rubyで文字列の時間表現を時間に変換するにはTime.strptimeをよく使います．以下は公式リファレンスの例です． Time.strptime('2001-02-03T04:05:06+09:00', '%Y-%m-%dT%H:%M:%S%z') #=> 2001-02-03 06:05:06 +0900 これは楽でとても便利なんですが，Time.strptimeには遅いという致命的な問題があります．例えばFluentdのようなひたすらログを読み込んでパースするソフトウェアの場合，Time.strptimeそのものがボトルネックになります．これはTime.strptimeは毎回文字列フォーマットをパースしないといけないなど，いくつかの要因があります． Fluentdでこの問題をどう解決していたかと言うと，文字列をキャッシュして，前と文字列が同じであればTime.strptime
fluent-plugin-tdの説明 - Qiita
英語では少し情報はあるんですが，日本語だとTreasure DataのFluentdプラグインのまとまった情報がない気がしたので，とりあえず書いておく．いずれは公式ブログとかドキュメントの日本語化がされた時に整理されて公開される予定です． Treasure Dataに関しては，公式サイトや公式ブログに色々と記事が公開されているので，参照してみてください． http://www.treasuredata.com/jp/ http://treasure-data.hateblo.jp/ Treasure Dataプラグインについて その名の通りTreasure Dataにログを転送するFluentdプラグインです．Treasure DataのデータストアはスキーマレスなのでひたすらJSONなログを突っ込むことが出来，Fluentdと相性が良いです．実際はSchema on Readのアプローチ
Fluentd v0.12のリリース - Qiita
12月12日にFluentd v0.12をリリースしました．ここでは出たばかりのv0.12について書きます．v0.12はv1リリースのための準備マイナーバージョンアップの一つで，なるべく互換性を維持しつつ新機能や新しいAPIを実装しています．以下がv0.12で提供される主な新機能です． フィルタ ラベル ログ転送でのAt-least-once semantics 新しいParser/Formatterクラス このうち，一番下の機能はv0.10にもバックポートされています．それぞれ説明していきます． フィルタ Fluentdで一番待ち望まれていた機能です．Fluentdはロバストなログ転送にフォーカスして開発されているログコレクタで，貯めた後にHadoopでバッチを回したり，Prestoでアドホッククエリを投げるなどがよくある構成です． ただ，ログを貯める前に速報値を出したいとか，ログ本体に
Test::Unitでテストを書く - Qiita
テストの書き方 基本 今までのTest::Unitと変わらないので，classで書く．ただ，昔のTest::Unitとは違い，TestCase毎に呼ばれるstartupやshutdownなどが増えている． require 'test/unit' class TestSample < Test::Unit::TestCase class << self # テスト群の実行前に呼ばれる．変な初期化トリックがいらなくなる def startup p :_startup end # テスト群の実行後に呼ばれる def shutdown p :_shutdown end end # 毎回テスト実行前に呼ばれる def setup p :setup end # テストがpassedになっている場合に，テスト実行後に呼ばれる．テスト後の状態確認とかに使える def cleanup p :cleanup
Treasure AgentとAmazon Linux - Qiita
Treasure Agent(td-agent)とAmazon Linuxの関係について，現状を簡潔にまとめておきます． 非サポート対象 td-agent v1 vs. td-agent v2のSupported Platformsに書いてますが，現状Treasure AgentはRedHat/CentOSの5/6向けのRPMを提供しています(7も近々出します)．Amazon LinuxはRHELベースでRPMを使っているので，サポート対象に入っていると思われるかもしれませんが，実際は非サポートです．理由はいくつかあります． Amazon Linuxは俺俺バージョニングを採用していて，安定したサポートが難しい．$releaseverがlatestなのもつらい Treasure Dataが提供している http://toolbelt.treasuredata.com/sh/install-r
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
