最近のストリーム処理事情振り返り

2. @kimutansk 自己紹介 •Kimura, Sotaro(@kimutansk) – ドワンゴでデータエンジニアやってます •データ分析基盤の管理 •データ分析に必要な各種ETLパイプライン構築 •生データを集計したデータマートの設計構築 •データフォーマット、内容等の設計 etc... – 好きな技術分野 •ストリーム処理（主にJVM上） •分散システム •実装言語：Scala, Go – 好きなOSSプロダクト •Apache Kafka •Apache Beam •Apache NiFi etc... 3. @kimutansk アジェンダ •ストリーム処理とは何か？ •ストリーム処理システム構成の変遷 – バッチと並列でデータ処理を実行 – 単体でデータ処理を実行 – データ処理パイプラインとして抽象化し、実行 •最近語られているストリーム処理の概念 – バッチ処理とス

[nishitki]

マイクロバッチ

[yassan0627]

すごくまとまってて良かった。29ページ辺りからの辛み感が分かりすぎて辛くなるやつ。

[i101330]

“https://www.eventbrite.com/e/hadoop-22-tickets-31987821435”

[ilyaletre]

ストリーム処理がバッチ処理のsupersetという発想は無かったので勉強になった。

[braitom]

ストリーム処理システムの構成の変遷、バッチ処理とストリーム処理の違い、ストリーム処理エンジンのプロダクト紹介と使い分けなどについてまとめれれている。

[Hiro_Matsuno]

ー

[toyama0919]

良い資料だ