ストリーム処理とは何か？＋2016年の出来事 - Qiita

その対処で全部に対応するのは無理なんじゃないの？ Watermark、Trigger、Accumulationの機構が導入されればストリーム処理は全て対応可能かというと、 そんなことはありません。 何故なら、下記のような問題が発生してくるからです。 Watermarkを実時刻からどれくらい遅らせて設定すればいいのか？ 遅れを大きくすれば正確性は増しますが、遅延時間は大きくなります。 Accumulationのためにウィンドウの集計結果をどれだけ保持すればいいのか？ 保持する時間が長いほど、ストリーム処理を行うシステムのリソースが必要となります。 データ処理システム（バッチ、ストリーム含む）には下記の３要素のトレードオフがあるとされています。 完全性(Completeness) 低遅延(Low Latency) 低コスト(Low Cost) この３要素を全てに満たすことは出来ず、全てのデータ

[kma83]

strea

[HHR]

固定長ウィンドウ(Tubling Window) 、スライディングウィンドウ(Sliding Window) 、セッションウィンドウ(Session Window)

[pascal256]

バッチとの対比だけじゃなくてServletのようなリアルタイムトランザクションとの違いも知りたいな。バッファリングの有無な気はするけど

[TokyoIncidents]

[stream]

[atty]

すごいまとまり具合だ

[fumikony]

力作だ

[kakku22]

圧倒的にまとまってる

[braitom]

素晴らしいまとめ。大変分かりやすい

[efcl]

バッチ処理とストリーム処理の違い、ビックデータの処理パターン、メッセージバス、プロダクトのまとめ分類、構築するときに気をつけることについて

[shiumachi]

これは大作。素晴らしい