SnappyData, MemSQL-Spark & Cassandra-Spark: A Performance Benchmark
TIBCO® Platform The TIBCO Platform is a real-time, composable data platform that will bring together an evolving set of your TIBCO solutions wherever they run–on-premises, in the cloud, or at the edge–into a single pane of glass where you can more easily manage and monitor them through modern and innovative user experiences for operators, developers and business technologists. The TIBCO Platform i
streamtools
Explore, analyse, modify, and learn from streams of data. Streamtools is a new, open source project by The New York Times R&D Lab which provides a general purpose, graphical tool for dealing with streams of data. It provides a vocabulary of operations that can be connected together to create live data processing systems without the need for programming or complicated infrastructure. These systems
Spark Streaming最初の一歩 - pochi's weblog
はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 15日目です。 3日目の記事でもSpark Streamingは紹介されていましたが、私のほうではより初心者向けの基本的な内容を記述しておきたいと思います。 Spark Streamingとは リアルタイムログ検索エンジンを考えてみる 実装してみる Spark Streamingとは Apache Sparkはインメモリで動作する柔軟なバッチエンジンです。 Spark Streamingはストリームで流れてくるデータに対してApache Sparkで書いたバッチが動作するものです。 誤解を恐れずにいうとSpark Streamingは主に以下の3つの機能を提供しています。 各種ストリームデータを取得するためのコネクタ(Receiver)を提供する ストリームデータをSparkのRDDのよ
Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
『Spark StreamingでHyperLogLogを実装してみた』
この記事は、CyberAgent エンジニア Advent Calendar 2014 の18日目の記事です。 本日12/18は@sitotkfmが担当いたします。 昨日は@yuichiro.nakazawa1さんの「ログ解析にNorikraを使ってみた」でした。 明日は@strskさんです。 さて、唐突な上に私事で大変恐縮ですが最近秋葉原オフィスの近くに引っ越しました。 場所は秋葉原の少し西なので通勤途中に両国を通過します。 相撲といえば今年大記録が生まれました。 「巨人、大鵬、卵焼き」の中央に座する歴史的横綱大鵬と並ぶ32度目の優勝！ そんな大横綱白鵬のブログが読めるのは アメブロだけ！ （PCでみると、、、すごく、、、黒いです、、、） さてCyberAgentのAdvent Calendarとしての義理を果たしたところで本題です。 私は秋葉原ラボに勤務しており、主にログの集積・解析シ
Integrating Kafka and Spark Streaming: Code Examples and State of the Game
Spark Streaming has been getting some attention lately as a real-time data processing tool, often mentioned alongside Apache Storm. If you ask me, no real-time data processing tool is complete without Kafka integration (smile), hence I added an example Spark Streaming application to kafka-storm-starter that demonstrates how to read from Kafka and write to Kafka, using Avro as the data format and T
Flexible Data Architecture with Spark, Cassandra, and Impala
Flexible Data Architecture with Spark, Cassandra, and Impala September 30th, 2014 Overview An important aspect of a modern data architecture is the ability to use multiple execution frameworks over the same data. By using open data formats and storage engines, we gain the flexibility to use the right tool for the job, and position ourselves to exploit new technologies as they emerge. This article
Data Stream Processing: A Scalable Bridge from Kafka to Hadoop
You may use stream-oriented systems to parallel process real-time, time-sensitive data. You might also use data stream processing for bulk operations with time-insensitive operations, like data analysis and persistence operations. At Conductor, we use Kangaroo for bulk data stream processing, and we’re open sourcing it for you to use. Why Data Stream Processing with Kafka Wasn’t WorkingLast year,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Heron
Log In ‹ Documentation Index — WordPress
Akka ActorとAMQPでLINEのメッセージングパイプラインをリプレースした話
Odysseus Data Stream Management and Complex Event Processing: Odysseus - Data Stream Management and Event Processing
Realtime Analysis with Kafka and Vertx - FaKod's Blog
Tigon talk in QConSF 2014
Samza
Cask - Big Data Applications on Hadoop
http://rishiverma.com/software/blog/complex-event-processing-using-spark-streaming-and-sparksql/
Home
GitHub - epfldata/squall: A streaming / online query processing / analytics engine based on Apache Storm
Django/Celeyを用いたデータ分析Webアプリケーションにおける非同期処理の設計と実装
