タグ

ブックマーク / reiki4040.hatenablog.com (2)

  • fluent-plugin-parserから出る"pattern not match"メッセージを出さないようにしたい - 年中アイス

    2013/02/27追記 @tagomorisさんに無事pull requestマージしていただけました。ありがとうございます。 fluent-plugin-parserの0.2.2から使えるようになっています。 設定名をsuppress_parse_error_logに変更 テスト例をいただいて、無事テストコードも追加 初githubRubyになるとは。今度、pull request周りをまとめたい。。。 とりあえずgithubはこれ見ながらやりました。 WEB+DB press vol.69 isbn:4774151041 追記ここまで。 ちょっと必要だったので、ついでにpull request投げられないかと模索中。 そもそもの経緯としては、綺麗でないログ(デバッグに近いログ)から、特定のフォーマットにマッチする行だけfluentdに乗せて、集計とかgrowthforecastに流

    fluent-plugin-parserから出る"pattern not match"メッセージを出さないようにしたい - 年中アイス
    tagomoris
    tagomoris 2013/02/26
  • fluentd casual talk #2に行ってきました。 - 年中アイス

    最初の@just_do_neetさんの出だしがかなり衝撃的でした。 ログは、1TB/day over (これは圧縮済みの認識) そのうち、1件でもロストしたらそれは障害 根的なログに対する姿勢が違う・・・!! 個人的には、もし若干のロストがあっても簡便に集約を行えることを優先したいと思っていました。 それにしても、1TBってーと思いましたが、ログの量って別に決まりはなくて、積極的に数字を見るために自ずと出すこともできるんですよね。そういった意味でも、積極的にログを使われているのかなと感じました。大量のログを何とかできるのがfluentdと、HDFSのなせる技なのかな。 発表で個人的に気になったのは、主に3つ。詳しい内容は、Ustやスライド等があがると思うので、感想を主に。 stdout-hook haikanko ストリーミング集計 stdout-hook @repeatedlyさん h

    fluentd casual talk #2に行ってきました。 - 年中アイス
    tagomoris
    tagomoris 2013/02/18
    ビール好きです……
  • 1