今のデータが知りたい！に応えるPythonでのリアルタイム処理基盤の構築をざっと振り返る - Qiita

本記事はNTTコム公式アドベントカレンダーの25日（最終日）の記事です。 まさか最終日の記事担当とは恐縮です1。 著者は、技術開発部に所属し、社内外の各種データ分析、異常検知技術の研究開発を行っています。最近の研究成果は、AAAIのカンファレンスIAAI2018で採択されました。 はじめに 分析結果をいちはやくチーム内、各種サービス部に提供するために、OSSを駆使した分析基盤をチームで構築しています。分析結果をレポーティングするにあたり、データの集計や分析処理が必要になります。閲覧者により、レポーティング間隔（分析結果の更新頻度）の要求もさまざまです。例えば、 定期的なメール配信、データの最新化、機械学習のモデルの更新（1日に1回のバッチ処理） １日に何度かデータにアクセスして、データの状況を確認する（◯分間 / ◯時間でのバッチ処理） 常に今のデータをモニタリングしたい（ニアリアルタイム

[pekepoke777]

dockerで、spark streaming、kafka、ES