Redis Streamsを活用したイベントドリブンアーキテクチャの構築事例 - DMM inside｜DMM inside
Cloud Run function triggers | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. After you create and deploy your Cloud Run function, you can set your function to execute in response to various scenarios by specifying a trigger. This page provides an overview of the triggers supported by Cloud Run functions. Types of triggers By default, all functions deployed on Cloud Run are Cloud Run sour
CloudEvents
cloudevents A specification for describing event data in a common way Why CloudEvents? Events are everywhere, yet event publishers tend to describe events differently. Consistency The lack of a common way of describing events means developers have to write new event handling logic for each event source. Accessibility No common event format means no common libraries, tooling, and infrastructure for
GitHub - cloudevents/spec: CloudEvents Specification
Events are everywhere. However, event producers tend to describe events differently. The lack of a common way of describing events means developers must constantly re-learn how to consume events. This also limits the potential for libraries, tooling and infrastructure to aide the delivery of event data across environments, like SDKs, event routers or tracing systems. The portability and productivi
CNCFが策定するクラウドイベントの標準仕様「CloudEvents 1.0」が登場。サーバレスのクラウド間互換を促進するか？
CNCFが策定するクラウドイベントの標準仕様「CloudEvents 1.0」が登場。サーバレスのクラウド間互換を促進するか？ Kubernetesなどの開発をホストする団体Cloud Native Computing Foundation（CNCF）が策定するクラウドにおけるイベント通知の標準仕様である「CloudEvents」がバージョン1.0に到達したことが発表されました。 Last Thursday the @CloudEventIO project approved v1.0 of the spec! And, the same day the CNCF TOC approved CloudEvents as an incubator project! Busy day!!! Thanks all for your hard work and support! Checkout
WebSub - Wikipedia
WebSub（ウェブサブ）とは、インターネット上の分散型出版-購読型モデル（PubSub）のためのオープン標準プロトコルである。以前はPubSubHubbub（パブサブハブバブ）という名称だった。 元々はデータフィード用のAtomやRSSプロトコルを拡張するために設計された。HTTPを介してアクセスできるデータであればどんなデータ形式にも（例えばテキスト、画像、音声、動画ファイルなど）適用できるプロトコルとなっている。 このプロトコルの主な目的はデータが変更されたことをリアルタイムに通知することである。WebSubはHTTPの通知をPush技術を用いて行う。これはクライアントがポーリングに資源を消費しないで済むため、サーバ上のフィードに一定間隔でアクセスして更新を確かめるポーリングを行うより優れている。 WebSubは、出版者(publishers)、購読者(subscribers)、ハブ
Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 | Amazon Web Services
Amazon Web Services ブログ Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 増え続けるデータを処理し、新しいデータソースを取り込むことは、多くの組織にとって大きな課題となっています。 多くの場合、AWS のお客様は接続中のさまざまなデバイスやセンサーからメッセージを受け取っていますが、それらを詳しく分析する前に、効率的に取り込み、処理する必要があります。 結果として、あらゆる種類のデータが行き着くソリューションが Amazon S3 となるのは当然と言えるでしょう。 ただし、データが Amazon S3 に格納される方法によって、ダウンストリームデータ処理の効率とコストに大きな違いが生じる可能性があります。 具体的に言うと、Apache Spar
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka のインフラストラクチャと運用を管理するストリーミングデータサービスであり、デベロッパーや DevOps 管理者が Apache Kafka の運用のエキスパートとならなくても、AWS で Apache Kafka アプリケーションおよび Apache Kafka Connect コネクタをより簡単に実行できるようにします。Amazon MSK は Apache Kafka クラスターを運用、維持、スケールし、すぐに使用できるエンタープライズプラスのセキュリティ機能を提供
Kafka Streams - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで
Apache Kafka - Wikipedia
Apache Kafka is a distributed event store and stream-processing platform. It is an open-source system developed by the Apache Software Foundation written in Java and Scala. The project aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. Kafka can connect to external systems (for data import/export) via Kafka Connect, and provides the Kafka Streams li
Event Hubs - リアルタイムのデータ インジェスト | Microsoft Azure
Event Hubs は、シンプルで信頼性と拡張性の高いフル マネージド型のリアルタイム データ インジェスト サービスです。任意のソースから毎秒数百万のイベントをストリーミングすることで、動的なデータ パイプラインを構築し、ビジネスの課題に迅速に対応できます。緊急時には、 geo ディザスター リカバリー および geo レプリケーション機能を使用してデータ処理を続けます。 他の Azure サービスとシームレスに統合することで、有益な分析情報を利用可能にすることができます。コードを変更することなく、既存の Apache Kafka クライアントおよびアプリケーションが Event Hubs と通信できるように設定できます。これにより、自分のクラスターを管理する必要なく、マネージド Kafka エクスペリエンスを実現できます。リアルタイムのデータ インジェストとマイクロバッチ処理を同じス
Phoenix at Scale
Phoenix framework (Elixir) with Redis, at Scale. tokyo.ex#9 #tokyoex
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO![[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Azure Stream Analytics | Microsoft Azure
XEP-0060: Publish-Subscribe
リアルタイム対戦ゲームを支える リアルタイムサーバの負荷試験のリアル
Phoenix PubSub
GitHub - cctiger36/phoenix_pubsub_redis_z: Yet another Redis PubSub adapter for Phoenix. Supports sharding across multiple redis nodes.
ErlangElixirFest2018-ohr486-session
