2. @kimutansk 自己紹介 •Kimura, Sotaro(@kimutansk) – ドワンゴでデータエンジニアやってます •データ分析基盤の管理 •データ分析に必要な各種ETLパイプライン構築 •生データを集計したデータマートの設計構築 •データフォーマット、内容等の設計 etc... – 好きな技術分野 •ストリーム処理(主にJVM上) •分散システム •実装言語:Scala, Go – 好きなOSSプロダクト •Apache Kafka •Apache Beam •Apache NiFi etc... 3. @kimutansk アジェンダ •ストリーム処理とは何か? •ストリーム処理システム構成の変遷 – バッチと並列でデータ処理を実行 – 単体でデータ処理を実行 – データ処理パイプラインとして抽象化し、実行 •最近語られているストリーム処理の概念 – バッチ処理とス
![最近のストリーム処理事情振り返り](https://cdn-ak-scissors.b.st-hatena.com/image/square/74d236e43919127457217e058327e3060e0569bd/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170303-170303103951-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)