Fast Data を扱うためのデザインパターン
1. ® © 2016 MapR Technologies 1® © 2016 MapR Technologies 1© 2016 MapR Technologies ® Fast Data を扱うためのデザインパターン Ian Downard, Technical Evangelist with MapR Portland Java ユーザーグループ 2016 年 10 月 18 日 2. ® © 2016 MapR Technologies 2® © 2016 MapR Technologies 2 概要 • このプレゼンテーションでは Apache Kafka を紹介し、Kafka API の 使い方について説明します。また、Fast Data への適用のために Kafka パイプラインのスループットを最大化するための戦略について も解説します。 • 説明で使われているコード例は
最近のストリーム処理事情振り返り
2. @kimutansk 自己紹介 •Kimura, Sotaro(@kimutansk) – ドワンゴでデータエンジニアやってます •データ分析基盤の管理 •データ分析に必要な各種ETLパイプライン構築 •生データを集計したデータマートの設計構築 •データフォーマット、内容等の設計 etc... – 好きな技術分野 •ストリーム処理（主にJVM上） •分散システム •実装言語：Scala, Go – 好きなOSSプロダクト •Apache Kafka •Apache Beam •Apache NiFi etc... 3. @kimutansk アジェンダ •ストリーム処理とは何か？ •ストリーム処理システム構成の変遷 – バッチと並列でデータ処理を実行 – 単体でデータ処理を実行 – データ処理パイプラインとして抽象化し、実行 •最近語られているストリーム処理の概念 – バッチ処理とス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
