Database Streaming with ksqlDB | Confluent
Now that your data is in motion, it’s time to make sense of it. Stream processing enables you to derive instant insights from your data streams, but setting up the infrastructure to support it can be complex. That’s why Confluent developed ksqlDB, the database purpose-built for stream processing applications.
Kafka
本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステムを構築するために必要な手順を解説します。 Kafkaのインストールや設定方法、Kafka APIを使った開発から、データパイプラインの構築、Kafkaの管理やモニタリングまで、Kafkaを導入する際の一連の流れを豊富なサンプルコードを使って解説します。またイベント駆動マイクロサービスのためのメッセージバスやストリーム処理アプリケーション、大規模データパイプラインなどのユースケースを詳述。Kafkaのレプリケーションやストレージレイヤなど、アーキテクチャと内部構造について解説しているため、Kafkaの仕組みを理解することができます。 Kafkaの開発者たちが執筆した本書は、ストリーム処理について学びたいエンジニア必携の一冊です。 目 次 監訳者まえがき 序文 はじめに 本書の対象読者
Apache Pulsar | Apache Pulsar
Pulsar is proven at scale by hundreds of companies of different sizes, serving millions of messages per second. See case studies What is PulsarApache Pulsar is an all-in-one messaging and streaming platform. Messages can be consumed and acknowledged individually or consumed as streams with less than 10ms of latency. Its layered architecture allows rapid scaling across hundreds of nodes, without da
終わりなく増えていくストリームデータ特化の分散ストレージ「Pravega」、EMCがオープンソースで公開。これまでのストレージとどう違う？［PR］
終わりなく増えていくストリームデータ特化の分散ストレージ「Pravega」、EMCがオープンソースで公開。これまでのストレージとどう違う？［PR］ ファイルへの保存やデータベースへの格納といった、これまで親しまれてきた方法では扱いにくい、新しい形式のデータが存在感を高めつつあります。 それは継続的に大量のデータが流れ込んでくる「ストリームデータ」です。 例えば、システム内のさまざまなアプリケーションやサーバが生成するログ、ソーシャルメディアから流れてくる利用者の声や自社製品の評判、あるいはIoTを活用したシステムでは、工場内やオフィス、工作機械や自動車などの機器に組み込まれた多数のセンサーから大量に送られてくるリアルタイムデータなどがそれにあたります。 Pravega：終わりがなく増えていくストリームデータのためのストレージ ストリームデータの特徴として、その内容が温度や位置情報、画像、動
Its Finally Here! Building Complex Streaming Analytics Apps in under 10 min without writing any code
IoT時代におけるストリームデータ処理と急成長の Apache Flink
え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
最近のストリーム処理事情振り返り
Hadoopソースコードリーディング 第22回 での発表資料です。 https://www.eventbrite.com/e/hadoop-22-tickets-31987821435 Read less
Deep Dive of Flink & Spark on Amazon EMR - February Online Tech Talks
Analyzing big data quickly and efficiently requires a data warehouse optimized to handle and scale for large datasets. Amazon Redshift is a fast, petabyte-scale data warehouse that makes it simple and cost-effective to analyze all of your data for a fraction of the cost of traditional data warehouses. In this webinar, we take an in-depth look at data warehousing with Amazon Redshift for big data a
ストリーム処理とは何か？＋2016年の出来事 - Qiita
この記事で書いている内容は？ ストリーム処理とはそもそも何かからはじまり、必要になる検討ポイントなどの情報を振り返り用にまとめたものです。 あとは、今年個人的にこの分野に影響が大きかったと思ったイベントをまとめています。 他の方へ説明する際のベースとするためにまとめているため、 既にこの分野を知っている方にとっては冗長な内容も多いかもしれませんが、 その場合は適宜読み飛ばしていただけると。 あと、私の他記事からも内容引っ張ってきているのでかぶりはあると思います。 特にGoogleが考えるストリームデータ処理とは？とは目的もかぶっているので相応に被りがあるかと・・・ 出来るだけよく出てくる固有の言葉を最初から使用せずに書いているつもりですが、 何かわかりにくい場所あればコメントいただけるとありがたいです。 「ストリーム処理」とだけ書くと微妙にストリーミング配信等とも混同しやすいですが、 デー
情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ
情報処理学会インターネットと運用技術研究会が主催されているIOTS2016という研究会で、「サーバモニタリング向け時系列データベースの探究」というタイトルで招待講演をしてきました。 講演のきっかけ インターネットと運用技術研究会(以下IOT研究会)というのは僕にとっては id:matsumoto_r さんが所属されている研究会です。 matsumotoryさんが、ちょうど2年前のアドベントカレンダーで書いた僕の記事に日本語だとIPSJのIOTは分野的にもインターネットの運用技術が含まれるので興味深い論文が沢山あると思う とコメントしていただいたのが最初に研究会の存在を知るきっかけだったと思います。 そのときはそんなものもあるのかと思ってちょっとプログラムを眺めた程度でした。 しかし、まさかその2年後にこうして招待していただくことになるとはもちろん思っていませんでした。 id:MIZZYさん
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
分散ストリーム処理エンジンあれこれ - Qiita
分散ストリーム処理エンジンの群雄割拠の時代 ストリーム処理を実現する分散プラットフォームが、大分増えました。 何が良いか／悪いかは、プラットフォームに求める内容や、関連するエコシステムにも影響するため、一概には言えないですが、Apacheで提供されているOSSとして、情報をまとめたものがあったので、ポイントをまとめたいと思います。 AN OVERVIEW OF APACHE STREAMING TECHNOLOGIES https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/ 特長 ストリーム処理といっても、位置づけが異なるものも一緒くたに書かれているので、位置づけを分類しながら、特長を整理してみます。 データ収集系 ログやイベントを収集するようなタイプ。 Flum
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー発のメッセージキュー「Pulsar」のご紹介
Event sourcing using Kafka
Hello from Apache BookKeeper | Apache BookKeeper
Tutorials | Cloudera
Java Data Stream Processing MapReduce Example, Part 1
Making Apache Spark the Fastest Open Source Streaming Engine
Event-time Aggregation and Watermarking in Apache Spark’s Structured Streaming
GitHub - facebookarchive/beringei: Beringei is a high performance, in-memory storage engine for time series data.
