Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
Fluentdとは - ぽにくすじゃないだいありー
fluentd | 23:34 | fluentdはプラグイン構造と構造化データとリアルタイム処理が特徴のログ収集ツールで、自由度がきわめて高くログを扱うためのクラスタを構築できる。入力・出力・バッファにそれぞれプラグインを使うことで、様々な入力を構造化し、様々なフィルタリングやバッファリングを行い、様々な出力先に出力することができる。いくつもの言語にFluentロガーが用意されているのでそれ経由で出力することもできるし、テキストログをパースすることで既存のシステムに変更を加えず新しくログ収集の仕組みを追加することもできる。あえて難点をいうとRuby1.9系でしか動かないので、Ruby1.9.xをインストールするか、td-agentというパッケージを導入しなければならない(td-agentに関してはまだ試してない。セッションを聞いた限りではRubyを同梱したfluentdパッケージだと思う
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
