Kafka
本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステムを構築するために必要な手順を解説します。 Kafkaのインストールや設定方法、Kafka APIを使った開発から、データパイプラインの構築、Kafkaの管理やモニタリングまで、Kafkaを導入する際の一連の流れを豊富なサンプルコードを使って解説します。またイベント駆動マイクロサービスのためのメッセージバスやストリーム処理アプリケーション、大規模データパイプラインなどのユースケースを詳述。Kafkaのレプリケーションやストレージレイヤなど、アーキテクチャと内部構造について解説しているため、Kafkaの仕組みを理解することができます。 Kafkaの開発者たちが執筆した本書は、ストリーム処理について学びたいエンジニア必携の一冊です。 目 次 監訳者まえがき 序文 はじめに 本書の対象読者
Streams: a new general purpose data structure in Redis. - <antirez>
Until a few months ago, for me streams were no more than an interesting and relatively straightforward concept in the context of messaging. After Kafka popularized the concept, I mostly investigated their usefulness in the case of Disque, a message queue that is now headed to be translated into a Redis 4.2 module. Later I decided that Disque was all about AP messaging, which is, fault tolerance an
Apache Kafka vs RabbitMQ: Fit For Purpose / Decision Tree
Kafka is an open-source distributed commit log service that provides high-throughput messaging functionality. It is designed to handle large volumes of data and different use cases like online and offline processing more efficiently than alternatives like RabbitMQ. Kafka works by partitioning topics into segments spread across clusters of machines, and replicates across these partitions for fault
Streaming databases in realtime with MySQL, Debezium, and Kafka
Change data capture has been around for a while, but some recent developments in technology have given it new life. Notably, using Kafka as a backbone to stream your database data in realtime has become increasingly common. If you’re wondering why you might want to stream database changes into Kafka, I highly suggest reading The Hardest Part About Microservices: Your Data. At WePay, we wanted to i
Apache Kafka vs Amazon Kinesis to Build a High...
Apache Kafka vs Amazon Kinesis to Build a High Performance Distributed SystemAt Keen IO, we’ve been running Apache Kafka in a pretty big production capacity for years, and are extremely happy with the technology. We also do some things with Amazon Kinesis and are excited to continue to explore it. Apache Kafka vs Amazon Kinesis For any given problem, if you’ve narrowed it down to choosing between
KafkaとAWS Kinesisの比較
This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.Read less
Kinesis vs-kafka-and-kafka-deep-dive
This document provides a summary of Amazon Kinesis and Apache Kafka, two platforms for processing real-time streaming data at large scale. It describes key features of each system such as durability, interfaces, processing options, and deployment. Kinesis is a fully managed cloud service that provides high durability for data across AWS availability zones. Kafka is an open source platform that off
日本HP、ビッグデータの活用を加速するSQLデータベース「HP Vertica」の新バージョンを発表
今回の発表は、HPのビッグデータ戦略の差別化を加速するもので、IoTデバイスデータなど新しいデータ形式を含めた、あらゆる種類のデータを駆使することを可能にし、重要な新しいオープンソースプロジェクトを活用して、開発者やさまざまな規模の企業がデータ経営指向の組織に変革するために必要不可欠なツールを提供するという。 「Excavator」というコード名を持つSQLデータベース「HP Vertica」新バージョンの機能は次のとおり。 ・データストリーミング分析：「Excavator」は、「Apache Kafka」オープンソース分散型メッセージングシステムのネーティブサポートを提供して、組織がIoTなどの高速ストリーミングデータを素早く、ほぼリアルタイムで取り込んで分析可能。この機能は、製造プロセス制御、サプライチェーン最適化、ヘルスケアモニタリング、金融リスク管理、不正検出など、幅広い使用事例に
Evaluating persistent, replicated message queues
Software DevelopmentDiscovery WorkshopsPerformant BackendsComplex FrontendLegacy Systems MigrationLeadershipTechnology PartnerFractional CTO/ArchitectArchitectureSoftware Audit & ConsultingAI and MLAI-Assisted DevelopmentBespoke AI ChatbotsScience as a ServiceComputer VisionOperationalCloud Cost ReductionDevOps as a ServicePlatform EngineeringDeveloper Experience
Scaling out PostgreSQL for CloudFlare Analytics using CitusDB
Scaling out PostgreSQL for CloudFlare Analytics using CitusDB04/09/2015 When I joined CloudFlare about 18 months ago, we had just started to build out our new Data Platform. At that point, the log processing and analytics pipeline built in the early days of the company had reached its limits. This was due to the rapidly increasing log volume from our Edge Platform where we’ve had to deal with traf
Bottled Water: Real-time integration of PostgreSQL and Kafka | Confluent
Summary: Confluent is starting to explore the integration of databases with event streams. As part of the first step in this exploration, Martin Kleppmann has made a new open source tool called Bottled Water. It lets you transform your PostgreSQL database into a stream of structured Kafka events. This is tremendously useful for data integration. Writing to a database is easy, but getting the data
Big Data Pipeline and Analytics Platform Using NetflixOSS and Other Open Source Libraries
Big Data Pipeline and Analytics Platform Using NetflixOSS and Other Open Source Libraries Netflix collects over 100 billion events per day from over 1000 device types and 500 apps/services. They built a big data pipeline using open source tools like NetflixOSS, Hadoop, Druid, Elasticsearch, and RxJava to ingest, process, store, and query this data in real-time and perform tasks like intelligent al
分散型メッセージングミドルウェアの詳細比較 | POSTD
メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス（brokerless）とブローカード（brokered）です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
Shopify: Kafka + Dockerの導入 - ワザノバ | wazanova
http://company.myshopify.com/blogs/technology/14909841-kafka-producer-pipeline-for-ruby-on-rails 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 オンラインストア & リアルショップ向けのアプリを提供しているShopifyがブログでKafkaの導入について紹介しています。 Kafkaに限らず、Google / Facebook / Twitter / LinkedInなど大手がオープンソースで取組んできたApache系の大規模分散システム向けのソリューションを、他のネット企業もサービスが成長してきたら導入するという話しが続いていますが、このShopifyのように、「魅力的なソリューションに見えるけど、Lin
電子書籍「Apache Kafka入門」をリリースしました - Advanced Technology Lab
こんにちは。シニアリサーチエンジニアの中野です アドバンスドテクノロジーラボで調査検証を進めてきたApache Kafkaについて、その結果をAmazonの電子書籍 としてまとめました。 (だいぶ前に公開だけしていたのですが、ブログに書くことを忘れていました！) Apache Kafka入門 伊橋 正義 (著), 原田 勝憲 (著), 中野 猛 (編) Hadoopなどの大規模分散処理には欠かせない、ノード間の協調動作を支えるミドルウェアであるKafkaですが、裏方の仕組みであるためあまりそれだけに注目されることはなく、そのためか日本語の情報ソースも限られていました。 そして、ラボではStormを、DB操作と同じ程度の気軽さで利用できる仕組みを開発しており、その中でKafkaを幅広く活用しています。 このため、Kafkaの情報を日本語で公開することは他所においても価値があると考え、このたび
Pinterest: 漏れなくログを拾うSectorをオープンソースで提供 - ワザノバ | wazanova
http://engineering.pinterest.com/post/84276775924/introducing-pinterest-secor 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Pinterestが課金フローのログ収集に使っているSectorをオープンソースで提供しました。KafkaからAmazon S3などの長期保存用のストレージにログを送る仕組み (構成図) ですが、Amazon S3を利用した場合も、その結果整合性（アップロードされたデータがすぐ可視できる状態にならないケース & ファイルが一旦消えたようになり後ほど復活するケースが起こりうる。）に影響うけずに、データ消失がなく、スケール可能で、日付でデータのパーティションを区切ることもできるとのこと。 その信頼性を担保
Private Presentation
Private content!This content has been marked as private by the uploader.
Amazon KinesisとApache Kafkaの類似点／相違点まとめ - 夢とガラクタの集積場
こんにちは。 Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。 というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon KinesisとApache Kafkaの大きな類似点として、以下があります。 1.メッセージを取得したタイミングで削除するのではなく、一定期間経過後に削除するモデルを取っている Kestrel、RabbitMQといったプロダクトはメッセージを取得され、利用側から応答が返った段階で削除するモデルを取っている。 「メッセージキュー」と言いあらわした場合、削除するモデルの方がイメージ的には近い？ Amazon Kinesis、Apache Kafkaはメッセージの提供を行うのみで削除は行わない。一定時間経過後に削除している
Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた - Taste of Tech Topics
こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 （Amazon Kinesis は、Stormとも連携できるようになっているようです）。 さて、先日、Storm 0.9.0 が正式リリースされたり、Apache Kafka 0.8.0 が正式リリースされたりしたので、 それらを連携して、ストリームデータの可視化を行うプロトタイプを作ってみました。 1. はじめに まず、「ストリームデータ」とは、連続的に発生し続けるデータのことを指します。 システムが出力するログやセンサーが発生するデータ、SNSなどで常時発生するメッセージなどが該当します。 今回は、Apacheが出力するログを、ストリームデータとして収集・可視化することを行ってみます。 1-1.やりたい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Samza at LinkedIn: Taking Stream Processing to the Next Level