Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
電子書籍「Apache Kafka入門」をリリースしました - Advanced Technology Lab
こんにちは。シニアリサーチエンジニアの中野です アドバンスドテクノロジーラボで調査検証を進めてきたApache Kafkaについて、その結果をAmazonの電子書籍 としてまとめました。 (だいぶ前に公開だけしていたのですが、ブログに書くことを忘れていました！) Apache Kafka入門 伊橋 正義 (著), 原田 勝憲 (著), 中野 猛 (編) Hadoopなどの大規模分散処理には欠かせない、ノード間の協調動作を支えるミドルウェアであるKafkaですが、裏方の仕組みであるためあまりそれだけに注目されることはなく、そのためか日本語の情報ソースも限られていました。 そして、ラボではStormを、DB操作と同じ程度の気軽さで利用できる仕組みを開発しており、その中でKafkaを幅広く活用しています。 このため、Kafkaの情報を日本語で公開することは他所においても価値があると考え、このたび
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013
RocksDB is the default state store for Kafka Streams. In this talk, we will discuss how to improve single node performance of the state store by tuning RocksDB and how to efficiently identify issues in the setup. We start with a short description of the RocksDB architecture. We discuss how Kafka Streams restores the state stores from Kafka by leveraging RocksDB features for bulk loading of data. W
ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013
ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。 Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。 2日目の基調講演で披露されたKinesisの説明をまとめました。 Amazon Kinesisを発表 Amazon.com CTO Werner Vogels氏。
Jepsen: Kafka
In the last Jepsen post, we learned about NuoDB. Now it’s time to switch gears and discuss Kafka. Up next: Cassandra. Kafka is a messaging system which provides an immutable, linearizable, sharded log of messages. Throughput and storage capacity scale linearly with nodes, and thanks to some impressive engineering tricks, Kafka can push astonishingly high volume through each node; often saturating
Apache Kafkaで何をするか – OpenGroove
Apache Kafkaで遊んでみたいと思いついたので事前調査してみたが、やはりまだまだ情報が少ないんだよね….今回はリンクだけはっておく。ちなみにApache Kafkaは、LinkedInによって開発されたリアルタイムストリーミングエンジン。一種のメッセージキューイングサービスやログ集約サービスのような使い方もできるらしい。 まずは希少な日本語情報。 Kafka仕様まとめシリーズ Apache Kafkaってそもそも何か確認してみます（その１ Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた 以降は英語。 本家サイト http://kafka.apache.org/ LinkedInによるスライド http://sssslide.com/www.slideshare.net/junrao/kafka-replication-ap
In-Stream Big Data Processing
The shortcomings and drawbacks of batch-oriented data processing were widely recognized by the Big Data community quite a long time ago. It became clear that real-time query processing and in-stream processing is the immediate need in many practical applications. In recent years, this idea got a lot of traction and a whole bunch of solutions like Twitter’s Storm, Yahoo’s S4, Cloudera’s Impala, Apa
Data Infrastructure at LinkedIn
This talk was given by Jun Rao (Staff Software Engineer at LinkedIn) and Sam Shah (Senior Engineering Manager at LinkedIn) at the Analytics@Webscale Technical Conference (June 2013).Read less
Building a Real-Time Data Pipeline: Apache Kafka at LinkedIn
Prescient Devices is the creator of a low-code DataOps solution for the edge. Prescient Devices’ flagship product, Prescient Designer, is a simple, graphical, and programmable SaaS workflow development platform which helps clients to work with time series data at the edge. It enables IT/OT teams, data engineers and system integrators to build and manage agile data pipelines with zero lines of code
Performance Benchmark - Luxun vs Apache Kafka - Abstraction Builder
Luxun is a high-throughput, distributed, pub-sub messaging system tailored for big data collecting and analytics. Luxun is inspired by Apache Kafka, both have a similar architecture. In order to compare the performance of Luxun and Kafka, I did a round of performance testing, below are the testing results: Producing Throughput Comparison: Async, Flush Disabled: Luxun >> Kafka Async, Flush Enabled:
Running a Multi-Broker Apache Kafka 0.8 Cluster on a Single Node
In this article I describe how to install, configure and run a multi-broker Apache Kafka 0.8 (trunk) cluster on a single machine. The final setup consists of one local ZooKeeper instance and three local Kafka brokers. We will test-drive the setup by sending messages to the cluster via a console producer and receive those messages via a console receiver. I will also describe how to build Kafka for
Intra-cluster Replication in Apache Kafka
Kafka is a distributed publish-subscribe messaging system. It was originally developed at LinkedIn and became an Apache project in July, 2011. Today, Kafka is used by LinkedIn, Twitter, and Square for applications including log aggregation, queuing, and real time monitoring and event processing. In the upcoming version 0.8 release, Kafka will support intra-cluster replication, which increases both
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - harelba/tail2kafka: Tail a log file and send log lines automatically to a kafka topic
AJUG's Introduction to Apache Kafka - DZone Java
Apache Kafka Bypasses The Scaling Issues of JMS - DZone
Erik Onnen
Data Models and Consumer Idioms Using Apache Kafka - DZone Integration
GitHub - MeltwaterArchive/dropwizard-extra: A set of miscellaneous and common Dropwizard utilities
English (US)
