マイクロサービスとメッセージングのなぜ [疑問編] - 赤帽エンジニアブログ
「マイクロサービスとメッセージングのなぜ [概要編]」はこちらです。 レッドハットでインテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 概要編ではメッセージングの良い面ばかりに焦点を当ててきましたが、今回の疑問編ではメッセージングを検討し始めたときに疑問に思ったり困りがちなことを説明したいと思います。概要編とは異なり、細かな技術的内容も含まれますので、その時々で必要な部分や興味ある部分だけ読んでいただければと思います。 (ところで、当初は前回を前編、そして今回を後編にして終わらせようと思っていたのですが、今回もあまりに長くなってしまったので、構成を変えたのでした。 このため当初の前編は概要編と名前を変更しています。) ではまず主に疑問とされることを確認して、その後に対処法を見ていきましょう。 メッセージングを利用することによる主な疑問 対処方法 Q1:
![マイクロサービスとメッセージングのなぜ [疑問編] - 赤帽エンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f80853750b1c5f85bbe4ae4c26691362ff89c530/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftyamashi-oss%2F20191208%2F20191208182318.jpg)
マイクロサービスとメッセージングのなぜ [概要編] - 赤帽エンジニアブログ
レッドハットでインテグレーションのためのミドルウェアのテクニカルサポートを担当している山下です。 最近はマイクロサービスでシステムを開発しているという話もよく聞くようになってきました。ではそこでメッセージング、そしてKafkaを使ってますでしょうか？マイクロサービスでは何故かRESTばかりが世の中に注目されてしまうことも多いために、今回はメッセージング推しの内容にしています。 マイクロサービスではメッセージングを用いたコマンドやイベントこそ中心であって不可欠です。マイクロサービスの中でメッセージングはどのように利用され、そしてなぜ必要なのでしょうか。今回は「マイクロサービスとメッセージングのなぜ [概要編]」と題してそれを概観していきます。 Kafkaの簡単なおさらい どこでメッセージングは利用されるのか？ RESTはお手軽な解決策？ なぜマイクロサービスにメッセージング(Kafka)が必
![マイクロサービスとメッセージングのなぜ [概要編] - 赤帽エンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/707ca04fc1adae69cf6e76dabc92e34469792eec/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftyamashi-oss%2F20190724%2F20190724112428.jpg)
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
Kafkaコンシューマのrecords-lagは何の値か - n-agetsumaの日記
Kafkaコンシューマの監視した方が良いメトリクスとして、datadog*1のドキュメントや、HortonworkによるKafkaのベストプラクティス*2ではrecords-lagが紹介されている。 このコンシューマのlagとは具体的にどのように計算された値か、以降にまとめる。以下の内容は、KafkaのJavaクライアント0.11.0.0で調べている。 records-lagについて records-lagとは、Kafkaのコンシューマのメトリクスで、コンシューマプロセスのJMX MBeanとして公開されている。この値は、Kafkaのブローカー側の最大オフセットと、コンシューマが処理済みのオフセットの差分を示す。jconsoleで見ると、以下のようにmy-topic-0.records-lag、my-topic-0.records-lag-avg、my-topic-0.records-la
Apache Kafkaで、クラスタメンバーの増減とPartitionの再割り当てをやってみる - CLOVER🍀
Apache Kafkaでクラスタのメンバーの増減や、Partitionの再割り当てみたいなことをやってみたいなぁと思い、ちょっと 試してみることにしました。 環境 Apache Kafkaのバージョンは、0.11.0.1とします。 また、Apache ZooKeeper、Apache Kafka（Broker）のIPアドレスは、次のようなものとします。 Apache ZooKepper … 172.21.0.2 Apache Kafka … 172.21.0.3〜 Apache KafkaのBrokerのIDは、IPアドレスの末尾とします（172.21.0.3なら、3）。 これで、Apache KafkaのNodeを増減させたりして、どのようになるかちょっと見てみたいと思います。 メッセージ投入用のプログラム Apache Kafka（Broker）へのメッセージの投入には、Javaで書
tcpdumpからKafkaのリトライ可能エラーを追う - n-agetsumaの日記
Kafkaのメッセージロストの原因の1つに、プロデューサの設定のretries(デフォルト0:リトライしない)の未設定がある。 Kafkaクライアントの送信リトライ プロデューサからメッセージ送信時のエラーには、retires設定によりKafkaのクライアントライブラリ内で自動リトライ可能なエラーと、リトライせずにProducer.sendメソッドの呼び出し元に例外を投げるエラーがある。自動リトライ可能なエラーで発生する例外は、org.apache.kafka.common.errors.RetriableExceptionの継承クラスである。代表的なものを以下に示す。 retiresによりリトライするエラー NotLeaderForPartitionException リーダーパーティションではないブローカーにメッセージが送られた場合のエラー応答。ブローカー障害によるフェールオーバ中にメ
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
Confluent Platformってどんなの？ - Qiita
こんにちは。 皆さん、Apache Kafkaは使っているでしょうか？ 最近はHadoop、Sparkの他Storm、Spark Streaming、Flink、Gearpumpのようにストリーム処理系プロダクトとペアで使われることが多く、リアルタイムな処理を行う場合にはかなりつかわれるプロダクトになってきていると思います。 ですが、実際に使ってみると困ることもあるわけでして・・・ で、それを解決できる可能性があるConfulent Platformというプロダクトが出ていました。 ですので、それを追ってみることにします。 参照： http://docs.confluent.io/2.0.0/platform.html Confluent Platformとは？ Confluent Platformとは、毎秒大量のデータが到達する事業環境を整理し、管理可能なストリームデータ基盤。 Conf
Apache Kafka 0.11 の Exactly Once Semantics
Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ LT発表（突発）資料
内部データパイプラインへのKafka Streamsの適用 - LINE ENGINEERING
! This post is also available in the following languages. 英語, 韓国語 By Kawamura Yuto | 2016.08.19 2021.01.08LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。 Kafka Streamsのご紹介 こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。 昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。 内部シ
Apache Kafka Best Practices
Apache Kafka becoming the message bus to transfer huge volumes of data from various sources into Hadoop. It's also enabling many real-time system frameworks and use cases. Managing and building clients around Apache Kafka can be challenging. In this talk, we will go through the best practices in deploying Apache Kafka in production. How to Secure a Kafka Cluster, How to pick topic-partitions and u
Exactly-once Support in Apache Kafka
On Thursday we released a new version of Apache Kafka that dramatically strengthens the semantic guarantees it provides. This release came at the tail end of several years of thinking through how to do reliable stream processing in a way that is fast, practical, and correct. The implementation effort itself was on the order of about a year, including an extended period in which about a hundred pag
Understanding the Differences Between RabbitMQ and Kafka
This blog was co-written by Howard Twine and Gregory Green. A few years ago, a colleague of ours wrote an informative post to help readers understand when to use RabbitMQ and when to use Apache Kafka. While the two solutions take very different approaches architecturally and can solve different problems, many people find themselves comparing them for situations where there is overlap. In an increa
Ubuntu Linuxに、Apache Kafkaをインストールする - CLOVER🍀
今後の勉強にあたり、Apache Kafkaを使ってみようかなと思いまして。 まずは、Apache Kafkaをインストールしてみたいと思います。 Apache Kafka また、参考にしたサイトはこちら。 Apache Kafka, 他とは異なるメッセージングシステム シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ - ようへいの日々精進XP Apache Kafkaに入門した | SOTA Apache Kafka ―入門からTrifectaを用いた可視化まで― Apache Kafkaの説明自体は、このあたりを参照と…。 インストール 環境はUbuntu Linux、JavaはOracle JDK 8がインストール済みの状態を前提とし、基本的にはQuickstartに沿って 進めていきます。 Quickstart まずは、Apache Kafk
Apache Kafka
Apache Kafka Quickstart Everything you need to know about Kafka in 10 minutes (clicking the image will load a video from YouTube) The contents of this website are © 2023 Apache Software Foundation under the terms of the Apache License v2. Apache Kafka, Kafka, and the Kafka logo are either registered trademarks or trademarks of The Apache Software Foundation in the United States and other countries
Just Enough Kafka For The Elastic Stack, Part 2
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Just Enough Kafka for the Elastic Stack, Part 1
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Apache Kafka
First let's review some basic messaging terminology: Kafka maintains feeds of messages in categories called topics. We'll call processes that publish messages to a Kafka topic producers. We'll call processes that subscribe to topics and process the feed of published messages consumers.. Kafka is run as a cluster comprised of one or more servers each of which is called a broker. So, at a high level
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Performance Tuning of an Apache Kafka/Spark Streaming System - Java Code Geeks