「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記

まず、両者はかなり性質の異なるプロダクトなので、以下の比較は筋違い。 筋違いであることを前提に、ストリームデータ処理プラットフォームとしての両者を比べてみる。 基本情報 fluentd http://fluentd.org/ 今をときめくログコレクター/イベントアグリゲーター。Rubyで実装されているが軽量高速。 RPC基盤ではなく、その下のレイヤーに位置するプロダクト。 Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureで実装されている。 概要については、下記のスライドがとてもわかりやすかった。 Twitterのリアルタイム分散処理システム「Storm」入門 ストリームデータ処理で何をするのかについて ストリームデータ処理のニーズについて、自分が理解している範囲での簡単な説明。 典

[tagomoris]

このような人こそ今書いてるアレのターゲット！

[chezou]

これはわかりやすい比較

[calpo]

「直近1時間のリアルタイムランキング」みたいのは実はRedisは苦手。→ ApacheS4やStorm。

[teckl]

メモ

[wyukawa]

ほむほむ

[moomindani]

メモメモ。

[akasata]

ふむふむ

[pochi-mk]

「状態変化が過去の入力の複雑な重ね合わせとして導かれるようなモデルは、RDBMSや各種KVS、Redisなどに載せるのが難しい。」そこで Storm、か。自分の身の回りではあまり大規模なものはないなぁ。fluentdで十分、かな。

[meets623]

「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記

[n-sega]

Storm、Java+Clojureで書かれてるのかー。読んでみるか。

[kimutansk]

この辺の整合性とスピードのトレードオフはどうしても生じてくるんですよねぇ。。。難しいところです

[nagachika]

"fluentd as a Poor-man's Storm"

[KenichiroMurata]

CEP, CEP(関係ないけど、昔ZAP,ZAP言う記事がJavaPress?にあったよね)

[mackee_w]

以前、fluentdで重たいストリームプロセッシングの夢を見たことあるし、Storm良さそう