Kafka 論文を読んで Kafka についてまとめた - kmikmy's blog
対象とする論文は Jay Kreps, Neha Narkhede, and Jun Rao. Kafka: a distributed messaging system for log processing. ACM SIGMOD Workshop on Networking Meets Databases, page 6, 2011 データベースのトップカンファレンス SIGMOD 2011 で発表された論文。 2011 年は機械学習が学会以外の場所でも盛り上がり始めたぐらいの頃だろうか。 Kafka の概要については事前に色々なサイトで調べたりしてたんですが、やはり論文に勝る情報源はないですね。 どう使うか、どんな特徴があるかは当然重要ですが、システム開発者（システム開発者はシステム利用者に非ず）にとって重要なのはどう実装されているかだと思います。 主に Kafka のアーキテクチャ
Kafka
本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステムを構築するために必要な手順を解説します。 Kafkaのインストールや設定方法、Kafka APIを使った開発から、データパイプラインの構築、Kafkaの管理やモニタリングまで、Kafkaを導入する際の一連の流れを豊富なサンプルコードを使って解説します。またイベント駆動マイクロサービスのためのメッセージバスやストリーム処理アプリケーション、大規模データパイプラインなどのユースケースを詳述。Kafkaのレプリケーションやストレージレイヤなど、アーキテクチャと内部構造について解説しているため、Kafkaの仕組みを理解することができます。 Kafkaの開発者たちが執筆した本書は、ストリーム処理について学びたいエンジニア必携の一冊です。 目 次 監訳者まえがき 序文 はじめに 本書の対象読者
Kafka & Redis Streams | HackerNoon
Let’s talk about queue design. We have a very long book which we would like many people to read. Some can read during their lunch hour, some read on Monday nights, others take it home for the weekend. The book is so long that at any point in time, we have hundreds of people reading it. Readers of our book need to keep track of where they are up to in our book, so they keep track of their location
Google Cloud Platform and Confluent partner to deliver a managed Apache Kafka service | Google Cloud Blog
Google Cloud Platform and Confluent partner to deliver a managed Apache Kafka service One of the most common requests we get from customers migrating to GCP is whether we’ll offer a managed version of Apache Kafka. This comes as no surprise, as Kafka has become a leading open-source solution for event streaming and is increasingly the primary messaging platform for event-driven organizations
Kafka vs. Apache RocketMQ™- Multiple Topic Stress Test Results
IntroductionThis post delves into how we will simulate the real scenarios below: Message sending and subscription must be concomitant.Multiple subscription ends supported to subscribe only to messages you are interested in.The focus of this post is on Kafka and Apache RocketMQ™, since they both are high-performance applications. Thus, we will target these two products to see which one of them is b
In-depth Kafka Message queue principles of high-reliability
At present many open source distributed processing systems such as Cloudera, Apache Storm, Spark and others support the integration with Kafka. Kafka is increasingly being favored by many internet shops and they use Kafka as one of its core messaging engines. The reliability of the Kafka message can be imagined as a commercial-grade messaging middleware solution. In this article, we will understan
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING
みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個 のお年玉が付与されます。 こういったメッセージが受信されます ユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
Kafka at half the price with JBOD setup
The talk introduces JBOD setup for Apache Kafka and shows how LinkedIn can save more than 30% storage cost in Kafka by adopting JBOD setup. The talk is given during the LinkedIn Streaming meetup in May, 2017.Read less
Publishing with Apache Kafka at The New York Times | Confluent
At The New York Times we have a number of different systems that are used for producing content. We have several Content Management Systems, and we use third-party data and wire stories. Furthermore, given 161 years of journalism and 21 years of publishing content online, we have huge archives of content that still need to be available online, that need to be searchable, and that generally need to
Introducing KSQL: Streaming SQL for Apache Kafka | Confluent
ksqlDB is the successor to KSQL. Read the announcement to learn more. To get started with ksqlDB in Confluent Cloud, you can sign up for fully managed Apache Kafka as a service and receive $400 of free usage during your first 60 days, plus an additional $60 of free usage when you use the promo code CL60BLOG.* I’m really excited to announce KSQL, a streaming SQL engine for Apache Kafka®. KSQL lower
Exactly-once Support in Apache Kafka
On Thursday we released a new version of Apache Kafka that dramatically strengthens the semantic guarantees it provides. This release came at the tail end of several years of thinking through how to do reliable stream processing in a way that is fast, practical, and correct. The implementation effort itself was on the order of about a year, including an extended period in which about a hundred pag
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
スケールするメッセージングシステムを構築せよ ―チャットワークとNTTデータが挑んだKafkaベースの"土管"づくり | gihyo.jp
スケールするメッセージングシステムを構築せよ ―チャットワークとNTTデータが挑んだKafkaベースの"土管"づくり クラウドコンピューティングが普及し、多くの企業が日常的に膨大で多様なデータを扱うようになるにともない、ITの世界では"スケール"という言葉がごく一般的に使われるようになりました。ニーズに応じて利用するコンピューティングリソースを柔軟に増減し、処理を分散してシステム全体の稼働力を上げる"スケール"というしくみは、いまや"あって当然"の概念となり、加えてここ数年はスケールにおいてもよりリアルタイムに近いパフォーマンスが求められるようになっています。 これはサーバやストレージといったハードウェアリソースだけではなく、データベースやミドルウェアにおいても同様で、スケールしやすい技術としてHadoopやPostgreSQLといったオープンソースプロダクトが選ばれるケースが飛躍的に増え
Exactly-once Semantics is Possible: Here's How Apache Kafka Does it
I’m thrilled that we have hit an exciting milestone the Apache Kafka® community has long been waiting for: we have introduced exactly-once semantics in Kafka in the 0.11 release and Confluent Platform 3.3. In this post, I’d like to tell you what Kafka’s exactly-once semantics mean, why it is a hard problem, and how the new idempotence and transactions features in Kafka enable correct exactly-once
Using logs to build a solid data infrastructure (or: why dual writes are a bad idea) | Confluent
This is an edited transcript of a talk I gave at the Craft Conference 2015. The video and slides are also available. How does your database store data on disk reliably? It uses a log. How does one database replica synchronise with another replica? It uses a log. How does a distributed algorithm like Raft achieve consensus? It uses a log. How does activity data get recorded in a system like Apache
Managing Spark and Kafka Pipelines - Silicon Valley Data Science
With Monitoring and Alerting | May 11th, 2017 Do you fully understand how your systems operate? As an engineer, there is a lot you can do to aid the person who is going to manage your application in the future. In a previous post we covered how exposing the tuning knobs of the underlying technologies to operations will go a long way to making your application successful. Your application is a un
チャットワークのScala移行と大規模メッセージDB再構築、本当にできたんですね！（前編） | HRナビ by リクルート
2016年8月、トレタの増井雄一郎さん（「IT芸人」「フログラマー」で検索！）はPHPからScalaへの移行を表明していたChatWork CTOの山本正喜さんに「本当にScala化できるんですか？」と直球で聞きました（「PHPからScalaに乗り換えたチャットワークさん、その後どうですか？（前編）」）。そして2017年2月。「移行できたら、ぜひもう一回来てください」との誘いを受けて、再び増井さんがチャットワークにやってきました！ 増井 Scala化、おめでとうございます！ 山本 ありがとうございます。 増井 前回も聞きましたが、読んでない方もいるでしょうから、もう一度聞かせてください。Scalaを入れようと思った時期はいつなんでしょうか。 山本 そのあたりはBlog（「チャットワークがScalaを採用する理由、これからのチャレンジ。」）に書いたんですが、2年半前──合宿をしてScala化
Yahoo's New Pulsar: A Kafka Competitor?
Yahoo today announced that it’s open sourcing Pulsar, a new distributed “publish and subscribe” messaging systems designed to be highly scalable while maintaining low levels of latency. The bus already backs some of Yahoo’s key apps, and now the Web giant is seeking the help of the open source community to take Pulsar to the next level. In a post to the Yahoo Engineering blog, Yahoo developers Joe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kafka vs Pulsar @KafkaMeetup_20180316
