LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー

ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue

[t-wada]

naoya さんから御大と呼ばれて思わず瞳孔が開いたアカウントがこちらになります。最近の naoya さんのエンジニア日記力すごいなぁ

[teketeke_55]

fluentd + GrowthForecast

[nasneg]

“GrowthForecast”

[oppara]

LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー

[mongrelP]

これは捗る

[a2ikm]

vagrant面白そう

[tomity]

1行JSONだと「特殊なパーサーも必要としない」というのは満たせないのか。

[chezou]

このフォーマットは良いと思うんだ。可変長のフィールドをどう扱うかが決められないだけなんだ

[y-kawaz]

User-Agent に"hack log\thost:127.0.0.1" みたいなのを送りつけられると面倒なことになりそう？

[Yamashiro0217]

[ltsv

[mkataigi]

tsv楽ですよね

[equinox79]

ほーなるほど

[nasu_t]

ltsv growthforcast combined access_log fluentd

[craftone]

確かに目から鱗。

[seikoudoku2000]

これは良さげ。既存の資産との闘いになるが。。そして、逆にcombindフォーマットがこんなに一般的なのは何でなんだろうという疑問が湧いた。

[kazuph1986]

なんか最近すごい投稿に勢いがあるなぁ。

[stanaka]

LTSVにnaoya御大にも載っていただきました

[mtmt101jp]

すばらしいい

[griefworker]

LTSVフォーマット便利そう。

[Donca]

✔ LTSVフォーマットなログを fluentd + GrowthForecast で料理