マイクロサービスとメッセージングのなぜ [疑問編] - 赤帽エンジニアブログ
「マイクロサービスとメッセージングのなぜ [概要編]」はこちらです。 レッドハットでインテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 概要編ではメッセージングの良い面ばかりに焦点を当ててきましたが、今回の疑問編ではメッセージングを検討し始めたときに疑問に思ったり困りがちなことを説明したいと思います。概要編とは異なり、細かな技術的内容も含まれますので、その時々で必要な部分や興味ある部分だけ読んでいただければと思います。 (ところで、当初は前回を前編、そして今回を後編にして終わらせようと思っていたのですが、今回もあまりに長くなってしまったので、構成を変えたのでした。 このため当初の前編は概要編と名前を変更しています。) ではまず主に疑問とされることを確認して、その後に対処法を見ていきましょう。 メッセージングを利用することによる主な疑問 対処方法 Q1:
![マイクロサービスとメッセージングのなぜ [疑問編] - 赤帽エンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/ca83e206bee5df24821f2570cc38f8ee92366cfb/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F7dddbe471f5be6184f30d65c28b2b13f52c0661d%2Fbackend%3Dimagemagick%3Bheight%3D1200%3Bversion%3D1%3Bwidth%3D1200%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Ft%252Ftyamashi-oss%252F20191208%252F20191208182318.jpg)
Apache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと
2019年7月17日、kafka.apache.jpが主催するイベント「Apache Kafka Meetup Japan #7」がLINE株式会社にて開催されました。分散ストリーミングプラットフォーム「Apache Kafka」に関するナレッジや最新情報を共有する本イベント。今回は4人のエンジニアが、自身や自社における知見を語りました。プレゼンテーション「Kafka Broker performance degradation by mysterious JVM pause」に登壇したのは、LINE株式会社の河村勇人氏。ある日Kafkaに起こった突然のパフォーマンス低下とその原因について、解決までの軌跡を語りました。講演資料はこちら Apache Kafkaのパフォーマンス低下とその原因 河村勇人氏：よろしくお願いします。最初に自己紹介をします。河村勇人といいます。 LINEで全社向けの
Twitter’s Kafka adoption story
The real-time nature of Twitter poses unique and challenging issues for engineering teams at Twitter. We need to quickly surface breaking news, serve relevant advertisements to users, and address many other real-time use cases. Twitter’s Pub/Sub system provides the infrastructure for Twitter teams to handle this workload. The Messaging team at Twitter has been running an in-house Pub/Sub system, E
How to Choose the Number of Topics/Partitions in a Kafka Cluster? | Confluent
Start learning Apache Kafka or Apache Flink with our free courses on Confluent Developer! Our course catalog has options for developers, architects, and operators at all learning levels. This is a common question asked by many Apache Kafka users. The goal of this post is to explain a few important determining factors and provide a few simple formulas for when you are self-managing your Kafka clust
Kafkaのパーティンション数を決める時に考慮すること - The Dabsong Conshirtoe
kafkaのパーティション数を選択する際に考慮する点について、kafka作者のブログにまとめられていました。 blog.confluent.io 自身の理解のために、ちょっとまとめてみようと思います。 ※この記事はあくまでも個人的なまとめですので、作者の原文に一度目を通すことをオススメします。 概要 考慮する点は、ざっくりまとめると以下があります。 必要とされるスループット 将来的に必要となりそうなパーティション数 ファイルディスクリプタの数 ノード障害からの復旧時間 レプリケーションに伴う負荷 Producerのバッファメモリ 必要とされるスループット パーティションを追加することは、メッセージのproducerとconsumerの並列化につながるのでスループット向上が期待できます。 1パーティションあたりのproducerのスループットがp 1パーティションあたりのconsumerのス
Kafka meetup JP #3 - Engineering Apache Kafka at LINE
This document summarizes a presentation about engineering Apache Kafka at LINE. Some key points: - LINE uses Apache Kafka as a central data hub to pass data between services, handling over 140 billion messages per day. - Data stored in Kafka includes application logs, data mutations, and task requests. This data is used for tasks like data replication, analytics, and asynchronous processing. - Per
Exactly-once Support in Apache Kafka
On Thursday we released a new version of Apache Kafka that dramatically strengthens the semantic guarantees it provides. This release came at the tail end of several years of thinking through how to do reliable stream processing in a way that is fast, practical, and correct. The implementation effort itself was on the order of about a year, including an extended period in which about a hundred pag
Exactly-once Semantics is Possible: Here's How Apache Kafka Does it
I’m thrilled that we have hit an exciting milestone the Apache Kafka® community has long been waiting for: we have introduced exactly-once semantics in Kafka in the 0.11 release and Confluent Platform 3.3. In this post, I’d like to tell you what Kafka’s exactly-once semantics mean, why it is a hard problem, and how the new idempotence and transactions features in Kafka enable correct exactly-once
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2017年5月20日 1 ヤフー株式会社 データ＆サイエンスソリューション統括本部 データプラットフォーム本部 開発4部 パイプライン 森谷 大輔 Java Clientで入門する Apache Kafka JJUG CCC 2017 Spring 2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自己紹介 • 森谷 大輔 • インフラエンジニア • どちらかというとBEアプリケーション開発 • ヤフーのデータパイプラインをつくったり運用したり • 対外発表 • ストリーム処理プラットフォームにおけるKafka導入事例 (Apache Kafka Meetup Japan
Announcing Kafka Connect: Building large-scale low-latency data pipelines | Confluent
Announcing Kafka Connect: Building large-scale low-latency data pipelines For a long time, a substantial portion of data processing that companies did ran as big batch jobs — CSV files dumped out of databases, log files collected at the end of the day etc. But businesses operate in real-time and the software they run is catching up. Rather than processing data only at the end of the day, why not r
Trifecta by ldaniels528
Trifecta is a Command Line Interface (CLI) tool that enables users to quickly and easily inspect, publish and verify messages (or data) in Kafka, Storm and Zookeeper View project on GitHub Trifecta is a Command Line Interface (CLI) tool that enables users to quickly and easily inspect, verify and even query Kafka messages. In addition, Trifecta offers data import/export functions for transferring
Apache Kafka 概要（Design）和訳まとめ - 夢とガラクタの集積場
こんにちは。ようやく１ページ全てまとめ終わったので、 最後にまとめ投稿として投稿しておきます。 尚、ページは下記です。 http://kafka.apache.org/07/design.html ＝＝＝＝＝＝＝＝＝＝ 1.何故Kafkaは作られたのか？ 元々はLinkedInのActivity StreamとData Processingをパイプライン式に繋ぐために開発されたプロダクト。 最近はTumblr、DataSiftといった企業でも使用されている。 → SNSや、複数のサービスの情報を統合するようなシステムで使われているようです。 ここでいうActivity Streamとは Webページで閲覧、検索、リンク設定などを行う活動全般を指す。 これらのデータは通常のシステムならば、ログファイルとして出力し、後で別途解析に用いられる。 もう一つ言葉を定義する。 Operational
Kafka Inside Keystone Pipeline
In summary, the Keystone pipeline is a unified event publishing, collection, and routing infrastructure for both batch and stream processing. We have two sets of Kafka clusters in Keystone pipeline: Fronting Kafka and Consumer Kafka. Fronting Kafka clusters are responsible for getting the messages from the producers which are virtually every application instance in Netflix. Their roles are data co
Introducing Kafka Streams: Stream Processing Made Simple | Confluent
A stream processing application built with Kafka Streams looks like this: Despite being a humble library, Kafka Streams directly addresses a lot of the hard problems in stream processing: Event-at-a-time processing (not microbatch) with millisecond latency Stateful processing including distributed joins and aggregations A convenient DSL Windowing with out-of-order data using a DataFlow-like model
StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
Monitoring Kafka w/ Prometheus
This document discusses monitoring Apache Kafka clusters and applications with Prometheus. It provides an overview of the architecture used, including deploying Prometheus servers, Kafka and HBase exporters, and a JSON exporter for YARN applications. Specific exporters are discussed for Kafka brokers using JMX, Kafka clients using the Prometheus Java library, and exposing application metrics via H
KafkaMeetup Japan#1 で発表しました - だいたいよくわからないブログ
Apache Kafka Meetup Japan #1 at Yahoo! JAPAN - connpass Kafkaを使った マイクロサービス基盤 part2 ＋運用して起きたトラブル集 from matsu_chara www.slideshare.net ザクザクとした発表になりましたが、これからKafkaを導入しようとか今導入してますという人たちにとって役立つ情報になると良いなと思っています。 RAIDについては、カーネルパニックにしちゃえば良いのではという意見も頂き色々進捗しそうです。 Brokerのヘルスチェックと組み合わせてやりたい・・メトリクスの可視化もしたい・・。 Scala研修テキストも公開されているので、 今回のも含めて、お仕事でやっていることが大体外部に公開できていることになりました。 こういう感じでオープンに仕事できるというのは良いことですね₍₍ (ง´･_･
Kafka を知るための情報源
Sep 07, 2015 ここ半年ほどずっと Kafka の大規模クラスターに関っていたりします。自分が Kafka を知るために読んだドキュメントやら資料などもだいぶたまったので、このあたりで一度整理をして、メモ代わりにここに残しておこうと思います。 公式ドキュメント Kafka の公式ドキュメントはとてもよく書かれているので、非常に有用です。何度読んでも新しい発見があるぐらい詳細に書かれているので、自分は印刷したものを手元に用意して、困った時などに見直すようにしています。他にも一部古い情報が混じっているので注意が必要ですが、Wiki や FAQ のページも有用です。 Kafka Documentation Kafka Wiki Kafka FAQ ソースコード ソースコードは Apache の Git リポジトリにあります。GitHub にもミラーされているので、自分はこちらで参照する
Putting Apache Kafka To Use: A Practical Guide To Building an Event Streaming Platform (Part 1) | Confluent
Data systems have mostly focused on the passive storage of data. Phrases like “data warehouse” or “data lake” or even the ubiquitous “data store” all evoke places data goes to sit. But in the last few years a new style of system and architecture has emerged which is built not just around passive storage but around the flow of real-time data streams. This has become a central architectural element
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kafka Broker performance degradation by mysterious JVM pause
