Apache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと
2019年7月17日、kafka.apache.jpが主催するイベント「Apache Kafka Meetup Japan #7」がLINE株式会社にて開催されました。分散ストリーミングプラットフォーム「Apache Kafka」に関するナレッジや最新情報を共有する本イベント。今回は4人のエンジニアが、自身や自社における知見を語りました。プレゼンテーション「Kafka Broker performance degradation by mysterious JVM pause」に登壇したのは、LINE株式会社の河村勇人氏。ある日Kafkaに起こった突然のパフォーマンス低下とその原因について、解決までの軌跡を語りました。講演資料はこちら Apache Kafkaのパフォーマンス低下とその原因 河村勇人氏：よろしくお願いします。最初に自己紹介をします。河村勇人といいます。 LINEで全社向けの
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 1
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
KubernetesでKafkaクラスターを動かしてみた
Kafka Meet Up Japan #4 (#kafkajp)の発表資料です。
Kafkaを利用したアプリケーションでのオフセットの制御について/Kafka Offsets
2017-05-14に行われた「Scala将軍達の後の祭り2017」で発表した時の資料です。
Kafka Clients (At-Most-Once, At-Least-Once, Exactly-Once, and Avro Client) - DZone
Kafka Apache Kafka is a high performing message middleware that allows the implementation of real-time, batch, and stream type of message processing. Apache Kafka is used by many corporations for their web scale needs. This article explains how to create Kafka clients using the 0.9.0 version of the Kafka API. We'll also show various ways Kafka clients can be created for at-most-once, at-least-once
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
tcpdumpからKafkaのリトライ可能エラーを追う - n-agetsumaの日記
Kafkaのメッセージロストの原因の1つに、プロデューサの設定のretries(デフォルト0:リトライしない)の未設定がある。 Kafkaクライアントの送信リトライ プロデューサからメッセージ送信時のエラーには、retires設定によりKafkaのクライアントライブラリ内で自動リトライ可能なエラーと、リトライせずにProducer.sendメソッドの呼び出し元に例外を投げるエラーがある。自動リトライ可能なエラーで発生する例外は、org.apache.kafka.common.errors.RetriableExceptionの継承クラスである。代表的なものを以下に示す。 retiresによりリトライするエラー NotLeaderForPartitionException リーダーパーティションではないブローカーにメッセージが送られた場合のエラー応答。ブローカー障害によるフェールオーバ中にメ
Configuring Apache Kafka for Performance and Resource Management | 4.1.x | Cloudera Documentation
CDH 6 includes Apache Kafka as part of the core package. The documentation includes improved contents for how to set up, install, and administer your Kafka ecosystem. For more information, see the Cloudera Enterprise 6.0.x Apache Kafka Guide. We look forward to your feedback on both the existing and new documentation. Apache Kafka is optimized for small messages. According to benchmarks, the best
Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)
Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines) I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processing, and Hadoop data ingestion. To actually make this work, though, this "universal log" has to be a cheap abstraction. If you want to use a system as a central data hub
Apache Kafka 0.11 の Exactly Once Semantics
This document discusses exactly once semantics in Apache Kafka 0.11. It provides an overview of how Kafka achieved exactly once delivery between producers and consumers. Key points include: - Kafka 0.11 introduced exactly once semantics with changes to support transactions and deduplication. - Producers can write in a transactional fashion and receive acknowledgments of committed writes from broke
Confluent Platformってどんなの？ - Qiita
こんにちは。 皆さん、Apache Kafkaは使っているでしょうか？ 最近はHadoop、Sparkの他Storm、Spark Streaming、Flink、Gearpumpのようにストリーム処理系プロダクトとペアで使われることが多く、リアルタイムな処理を行う場合にはかなりつかわれるプロダクトになってきていると思います。 ですが、実際に使ってみると困ることもあるわけでして・・・ で、それを解決できる可能性があるConfulent Platformというプロダクトが出ていました。 ですので、それを追ってみることにします。 参照： http://docs.confluent.io/2.0.0/platform.html Confluent Platformとは？ Confluent Platformとは、毎秒大量のデータが到達する事業環境を整理し、管理可能なストリームデータ基盤。 Conf
What are the differences between Apache Kafka and RabbitMQ?
Answer (1 of 12): AMQP is more mature than Kafka, and also RabbitMQ is more mature than Kafka, Also according to their paper from last year, Kafka was designed as a logging system, and that is too specialised. RabbitMQ just deals with messages of any type. It can handle short messages (under 16 b...
Understanding the Differences Between RabbitMQ and Kafka
This blog was co-written by Howard Twine and Gregory Green. A few years ago, a colleague of ours wrote an informative post to help readers understand when to use RabbitMQ and when to use Apache Kafka. While the two solutions take very different approaches architecturally and can solve different problems, many people find themselves comparing them for situations where there is overlap. In an increa
Kafka meetup JP #3 - Engineering Apache Kafka at LINE
This document summarizes a presentation about engineering Apache Kafka at LINE. Some key points: - LINE uses Apache Kafka as a central data hub to pass data between services, handling over 140 billion messages per day. - Data stored in Kafka includes application logs, data mutations, and task requests. This data is used for tasks like data replication, analytics, and asynchronous processing. - Per
Exactly-once Semantics is Possible: Here's How Apache Kafka Does it
I’m thrilled that we have hit an exciting milestone the Apache Kafka® community has long been waiting for: we have introduced exactly-once semantics in Kafka in the 0.11 release and Confluent Platform 3.3. In this post, I’d like to tell you what Kafka’s exactly-once semantics mean, why it is a hard problem, and how the new idempotence and transactions features in Kafka enable correct exactly-once
Queryable State for Kafka Streamsを使ってみた
The document discusses queryable state for Apache Kafka Streams. It introduces Kafka Streams and stateful transformations. It then describes state for Kafka Streams, including how state is stored in RocksDB and tracked with a changelog in Kafka. Finally, it covers the new queryable state feature in Kafka Streams 0.10.1, which provides APIs to access state stores and retrieve values by key for wind
噛み砕いてKafka Streams #kafkajp
Apache Kafka Meetup Japan #2 https://kafka-apache-jp.connpass.com/event/45923/ 発表資料Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Performance Tuning of an Apache Kafka/Spark Streaming System
TechCrunch | Startup and Technology News
