Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
cloudera/spark-kafka-writer · GitHub
README.md Spark To Kafka Writer APIs that help in writing data from Spark and Spark Streaming to Kafka. To use this in a Spark application, use Cloudera mvn repos: https://repository.cloudera.com/artifactory/cloudera-repos and https://repository.cloudera.com/artifactory/libs-snapshot-local for SNAPSHOTs. Latest release artifact info, on maven: repository: https://repository.cloudera.com/artifactor
Processing Twitter Events in Real-Time with Oracle Event Processing (OEP) 12c
1. 2013 © Trivadis BASEL BERN BRUGG LAUSANNE ZUERICH DUESSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MUNICH STUTTGART VIENNA 2013 © Trivadis Echtzeitverarbeitung von Twitter Streams mit Oracle Event Processing (OEP) 12c Guido Schmutz DOAG Konferenz 2014 19.11.2014 – 15:00 Raum Kiev 19.11.2014 Processing Twitter Stream with Oracle Event Processing (OEP) 1 2. 2013 © Trivadis Guido Schmutz • Worki
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Maven Repository: org.apache.kafka » kafka-clients » 2.0.0
Maven Repository: org.apache.spark » spark-sql-kafka-0-10
Apache Kafka + Spark Streaming Integration - DZone Integration
Spark and Kafka integration patterns – part 2
