stdout-hook と LTSV #fluentdcasual - naoyaのはてなダイアリー
Fluentd Casual Talks #2 に行ってきました。 のっけから @just_do_neet さんが「1TB強/dayのログを毎日裁いている」とか、「バッファ溢れとかで1TBのログから1件でもデータロスしようものなら障害」とか恐ろしいことをさらっとのたまっていて全然カジュアルじゃない! と焦りましたが、面白かったです。 それぞれのプレゼンのレポートはどなたかがいずれまとめてくれるでしょう。主催者の @tagomoris さんから、ブログ書くようにと指令が出ていたし。 stdout-hook どれも良かったのですが、@repeatedly さんの stdout-hook が面白かったので反応。 https://github.com/treasure-data/stdout-hook アプリケーションログを fluentd や Treasure Data に送りたい、けどアプリケ
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
