Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
Processing Twitter Events in Real-Time with Oracle Event Processing (OEP) 12c
Processing Twitter Events in Real-Time with Oracle Event Processing (OEP) 12c This session will present how to connect to the Twitter Streaming API and process and analyse the tweets in real-time by using Oracle Event Processing. We will see how typical analytics on a such social media data can be done directly on the event stream using Java and/or the Continuous Query Language (CQL). How do we be
Spark Streaming + MLLib integration examples
StreamingKMeans.scala � ��U p���U package thunder.streaming import org.apache.spark.{SparkConf, Logging} import org.apache.spark.rdd.RDD import org.apache.spark.SparkContext._ import org.apache.spark.streaming._ import org.apache.spark.streaming.dstream.DStream import org.apache.spark.mllib.clustering.KMeansModel import scala.util.Random.nextDouble import scala.util.Random.nextGaussian /** * Exten
Apache Storm vs. Spark Streaming – two Stream Processing Platforms compared
Apache Storm vs. Spark Streaming – two Stream Processing Platforms compared Storm as well as Spark Streaming are Open-Source Frameworks supporting distributed stream processing. Storm has been developed by Twitter and is a free and open source distributed real-time computation system that can be used with any programming language. It is written primarily in Clojure and supports Java by default. Sp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Structured Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) - Spark 2.2.0 Documentation
Maven Repository: org.apache.kafka » kafka-clients » 2.0.0
Maven Repository: org.apache.spark » spark-sql-kafka-0-10
Apache Kafka + Spark Streaming Integration - DZone Integration
Spark勉強会_ibm_20151014-公開版
https://mail-archives.apache.org/mod_mbox/spark-user/201511.mbox/%3CCA+AHuKksNyOxq8NazZA_mbHb+J1Ry-h9gMtXj=Zc5WkHU7Nnvg@mail.gmail.com%3E
Spark-Streaming and dynamic allocation
Diving into Apache Spark Streaming's Execution Model
Introducing Streaming k-means in Apache Spark 1.2
Apache Spark Streaming | MapR
https://mail-archives.apache.org/mod_mbox/spark-dev/201406.mbox/%3CCFB7344B.1496B%25jdonahue@adobe.com%3E
How jobs are assigned to executors in Spark Streaming?