![](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb3d8dba8f6e1133c79bc5a853b941687cae988e/height=288;version=1;width=512/https%3A%2F%2Fcodezine.jp%2Fstatic%2Fimages%2Farticle%2F9311%2Fdevsumi_logo.gif)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【デブサミ2016】18-B-4レポート ビッグデータをリアルタイムに処理する基盤はSparkとKafkaの組み合わせで構築せよ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【デブサミ2016】18-B-4レポート ビッグデータをリアルタイムに処理する基盤はSparkとKafkaの組み合わせで構築せよ
SparkとKafkaを組み合わせで実現するリアルタイム処理基盤 そこでSparkとKafkaを採用しようというのであ... SparkとKafkaを組み合わせで実現するリアルタイム処理基盤 そこでSparkとKafkaを採用しようというのである。SparkはSparkCoreモジュールとそれを利用したSparkSQL(SQLのインタフェースの提供)、GraphX(グラフ演算やグラフを操作機能を提供)、Streaming(ストリーミングデータ処理の提供)、MLib(機械学習アルゴリズムを提供)というコンポーネントから成る。HadoopでのMapReduceではスループットを重視し、バッチ処理に特化しているので、レイテンシに問題があったが、SparkとRDD&DAGで処理すると、Sparkはレイテンシを重視し、メモリ上で操作を行うので、「たとえ機械学習でも繰り返し処理が高速にできる」と田中氏は語る。 一方のKafkaはメッセージキューを扱うシステムで、「プロデューサー」「ブローカー」「コンシューマー」という3つの役