Amazon MSK Serverless が一般提供開始 – マネージド Kafka クラスターのキャパシティープランニングが不要に | Amazon Web Services
Amazon Web Services ブログ Amazon MSK Serverless が一般提供開始 – マネージド Kafka クラスターのキャパシティープランニングが不要に 2022 年 4 月 28 日（米国時間）、Amazon MSK Serverless の一般公開を開始し、容量プランニングとスケーリングを AWS にオフロードすることで、Apache Kafka クラスター管理のオペレーションオーバーヘッドをさらに削減できるようにいたします。 2019 年 5 月、お客様が Apache Kafka を使用してデータをストリーミングできるように、Amazon Managed Streaming for Apache Kafka をリリースしました。Apache Kafkaは、お客様がクリックストリームイベント、トランザクション、IoT イベントなどのストリーミングデータを
Kafka開発元のConfluentに聞いた。エンタープライズ市場への道筋、大手クラウドとの現在の関係について
Kafka開発元のConfluentに聞いた。エンタープライズ市場への道筋、大手クラウドとの現在の関係について 分散メッセージングシステムのKafkaは、ビッグデータの処理基盤として欠かせないソフトウェアの1つです。 そのKafkaの開発者であり開発元のConfluent共同創業者であるJun Rao氏と、同社シニアディレクタのTim Attwood氏がNTTデータ テクノロジーカンファレンス2019に合わせて来日しました。 お二人に、Kafkaがここまで成功してきた要因、そして大手クラウドベンダに反発してオープンソースのライセンス変更に及んだ後のクラウドベンダとの関係について、現在の認識を聞きました。 Kafkaの成功要因はビッグデータ時代との合致、ソフトウェアの完成度 ―― Kafkaはビッグデータ処理のシステムで非常に良く利用されていて、分散メッセージングシステムの分野のデファクトス
Amazon Managed Streaming for Apache Kafka (MSK) – Now Generally Available | Amazon Web Services
AWS News Blog Amazon Managed Streaming for Apache Kafka (MSK) – Now Generally Available September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. I am always amazed at how our customers are using streaming data. For example, Thomson Reuters, one of the world’s most trusted news organizations for businesses and professionals, built a solution to cap
ヤフー、メッセージングシステム統合OSS「OpenMessaging」開発に参画 - ニュース - ヤフー株式会社
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社のコーポレートサイトはこちらです。 当ページに記載されている情報は、2023年9月30日時点の情報です。 OpenMessaging ウェブサイト（外部リンク） ヤフー株式会社（以下、ヤフー）は、異なるメッセージングシステムを統合するオープンソースソフトウェア（以下、OSS）「OpenMessaging」の開発に、2019年1月より参画します。 「OpenMessaging」は、「Apache Pulsar」「Apache Kafka」といったOSSなど、さまざまなメッセージングシステムを統合するミドルウェアとしてオープンに開発されています。異なるアプリケーション間のデータ連携を行う際、メッセージングシステムが異なると、互換のための実装コストがかかり、システムも複雑化してしまいます。「Open
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発
Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 オープンソースソフトウェアの開発元がクラウドベンダへの不満を表明し、商用サービス化を制限するライセンス変更を行う例が続いています。 高速なインメモリデータストアを実現するオープンソースソフトウェアとして知られる「Redis」の開発元「Redis Labs」は、2018年8月に同社が開発したRedis拡張モジュールに関するライセンスの変更を発表しました（Redis本体のライセンスはBSDライセンスのまま）。拡張モジュールには、全文検索を行うRediSearchなどが含まれています。 変更後のライセンスでは、クラウドベンダによる商用サービスでの利用を制限するものとなっています。 ライセンス変更を発表した記事「Redis’ License
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 1
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 - ログミーTech
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンについて、エンジニアたちの技術的知見や挑戦を通して紹介します。セッション「Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages
re:Invent 2018 / Werner Vogels Keynote / Amazon MSK | Amazon Web Services
Amazon Web Services ブログ re:Invent 2018 / Werner Vogels Keynote / Amazon MSK Amazon Managed Streaming for Kafka(MSK)のプレビューが発表になりました。 ストリーミングデータを処理するApache Kafkaは、リアルタイムのストリーミングデータパイプラインとアプリケーションを構築するためのオープンソースのプラットフォームです。Amazon MSKは、Apache Kafka APIを使用してデータ・レイクを作成したり、データベースとの間で変更をストリーミングしたり、マシンの学習および分析アプリケーションを強化することができるフルマネージドサービスです。 Apache Kafkaクラスターは、実動環境でセットアップ、スケール、および管理が難しく、、サーバーのプロビジョニング、手動に
Twitter’s Kafka adoption story
The real-time nature of Twitter poses unique and challenging issues for engineering teams at Twitter. We need to quickly surface breaking news, serve relevant advertisements to users, and address many other real-time use cases. Twitter’s Pub/Sub system provides the infrastructure for Twitter teams to handle this workload. The Messaging team at Twitter has been running an in-house Pub/Sub system, E
Kafka
本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステムを構築するために必要な手順を解説します。 Kafkaのインストールや設定方法、Kafka APIを使った開発から、データパイプラインの構築、Kafkaの管理やモニタリングまで、Kafkaを導入する際の一連の流れを豊富なサンプルコードを使って解説します。またイベント駆動マイクロサービスのためのメッセージバスやストリーム処理アプリケーション、大規模データパイプラインなどのユースケースを詳述。Kafkaのレプリケーションやストレージレイヤなど、アーキテクチャと内部構造について解説しているため、Kafkaの仕組みを理解することができます。 Kafkaの開発者たちが執筆した本書は、ストリーム処理について学びたいエンジニア必携の一冊です。 目 次 監訳者まえがき 序文 はじめに 本書の対象読者
最近のストリーム処理事情振り返り
Hadoopソースコードリーディング 第22回 での発表資料です。 https://www.eventbrite.com/e/hadoop-22-tickets-31987821435 Read less
LINE Engineer Insights vol.1 「LINE BOT 育ての親に聞く、LINEの誕生と成長」 : LINE Engineering Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアに色々と話を聞いていく新コーナー「LINE Engineer Insights」をスタートいたします。インタビュアーにはLINEで働くエンジニア @tokuhirom を迎え、エンジニア同士でざっくばらんにお話を伺っていきます。LINEのエンジニアは一体どんな人達なのか、その内面に迫っていきたいと思います。 今回は、開発1センター LINE開発室 B Partチーム所属の熊井に、コミュニケーションアプリ「LINE」の誕生時のことや現在担当されているLINE BOTのバックエンドの話などを聞いてきました。 B Part のBはBOTのB？ ―― tokuhirom 今日は宜しくお願いします。熊井さんとはB
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
C++ で Apache Kafka を実装してみた - おくみん公式ブログ
『C++11/14 コア言語』を読んで C++ に惹かれ、使ってみたくなったので、Apache Kafka を実装してみました。 作ったもの Cafca C++ を書くならせっかくだしミドルウェアを作ってみよう、というわけで比較的構造がシンプルな Apache Kafka を移植しました。 とはいっても習作であり、プロダクトとして利用できるレベルではないです。 Produce API, Fetch API あたりしか実装していません。 分散周りが未実装で、無数のバグがあり、かつパフォーマンスも出ないであろうという状態です。 C++ 感想 C++ は想像していたより先進的な機能が多く、自分のようなモダンプログラマでも楽しめる言語でした。 テンプレートやラムダ式を駆使すれば表現力に定評のある Scala に負けないくらい、パワフルな記述が可能です。 例えばテンプレート特殊化を使えば型クラスっぽ
Kafka、Spark、Elasticsearchのパラメータチューニング
はじめに 第2回では、Spark Streamingを中心としたリアルタイムなセンサデータ処理システムの構築方法と、性能検証の進め方、および初期設定における性能測定結果を解説しました。 今回はシステムを構成するメッセージキュー「Kafka」、ストリームデータ処理エンジン「Spark Streaming」、検索エンジン「Elasticsearch」のチューニング方法と、チューニング後の性能測定結果について解説します。 前回のおさらい：初期設定における測定結果 初期設定で測定した結果、Kafkaの格納性能は8,026メッセージ/秒、Sparkの処理性能は19,346メッセージ/秒となりました。Kafkaがボトルネックとなり、システム全体のリアルタイム処理は8,026メッセージ/秒となります（図1）。この結果から、初期設定では第2回で解説した目標性能である10,000メッセージ/秒の処理性能を満
Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - DataDog/kafka-kit: Kafka storage rebalancing, automated replication throttle, cluster API and more
TOTO88 | Bocoran Slot Gacor Hari Ini
Jey Kreps氏，Apache KafkaとKafka Streamsを利用した分散ストリーム処理を語る
LinkedInがオープンソースのKafka Monitorを詳細に解説
