Redis Streamsを活用したイベントドリブンアーキテクチャの構築事例 - DMM insideDagger Go SDK vs Shell in GitHub Actions ~ モノレポのCIの実装をGoで実装するまでの道のり ~
CloudEvents
cloudevents A specification for describing event data in a common way Why CloudEvents? Events are everywhere, yet event publishers tend to describe events differently. Consistency The lack of a common way of describing events means developers have to write new event handling logic for each event source. Accessibility No common event format means no common libraries, tooling, and infrastructure for
CNCFが策定するクラウドイベントの標準仕様「CloudEvents 1.0」が登場。サーバレスのクラウド間互換を促進するか？
CNCFが策定するクラウドイベントの標準仕様「CloudEvents 1.0」が登場。サーバレスのクラウド間互換を促進するか？ Kubernetesなどの開発をホストする団体Cloud Native Computing Foundation（CNCF）が策定するクラウドにおけるイベント通知の標準仕様である「CloudEvents」がバージョン1.0に到達したことが発表されました。 Last Thursday the @CloudEventIO project approved v1.0 of the spec! And, the same day the CNCF TOC approved CloudEvents as an incubator project! Busy day!!! Thanks all for your hard work and support! Checkout
WebSub - Wikipedia
WebSub（ウェブサブ）とは、インターネット上の分散型出版-購読型モデル（PubSub）のためのオープン標準プロトコルである。以前はPubSubHubbub（パブサブハブバブ）という名称だった。 元々はデータフィード用のAtomやRSSプロトコルを拡張するために設計された。HTTPを介してアクセスできるデータであればどんなデータ形式にも（例えばテキスト、画像、音声、動画ファイルなど）適用できるプロトコルとなっている。 このプロトコルの主な目的はデータが変更されたことをリアルタイムに通知することである。WebSubはHTTPの通知をPush技術を用いて行う。これはクライアントがポーリングに資源を消費しないで済むため、サーバ上のフィードに一定間隔でアクセスして更新を確かめるポーリングを行うより優れている。 プロトコル[編集] WebSubは、出版者(publishers)、購読者(subsc
[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO
本記事はAWS re:Invent 2018のSession「ANT398 - [NEW LAUNCH!] Introducing Amazon Managed Streaming for Kafka (Amazon MSK)」のレポートです。 re:Invent 中に発表された Apache Kafka のフルマネージドサービス「Amazon Managed Streaming for Kafka (Amazon MSK)」の入門セッションです。 セッションについて スピーカー Damian Wylie - Principal Product Manager 概要 Discover the power of running Apache Kafka on a fully managed AWS service. In this session, we describe how Amazo
![[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 | Amazon Web Services
Amazon Web Services ブログ Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 増え続けるデータを処理し、新しいデータソースを取り込むことは、多くの組織にとって大きな課題となっています。 多くの場合、AWS のお客様は接続中のさまざまなデバイスやセンサーからメッセージを受け取っていますが、それらを詳しく分析する前に、効率的に取り込み、処理する必要があります。 結果として、あらゆる種類のデータが行き着くソリューションが Amazon S3 となるのは当然と言えるでしょう。 ただし、データが Amazon S3 に格納される方法によって、ダウンストリームデータ処理の効率とコストに大きな違いが生じる可能性があります。 具体的に言うと、Apache Spar
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする
Kafka Streams - Qiita
Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけではない。Kafka Streamは単なるKafkaのクライアントアプリである。別の言い方をすると、Samza とか SparkStreaming とかでできることを、Kafka 本体だけでもできるようになったということができる。 Kafka Streams
Apache Kafka - Wikipedia
Apache Kafka is a distributed event store and stream-processing platform. It is an open-source system developed by the Apache Software Foundation written in Java and Scala. The project aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. Kafka can connect to external systems (for data import/export) via Kafka Connect, and provides the Kafka Streams li
Azure Stream Analytics | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
Event Hubs - リアルタイムのデータ インジェスト | Microsoft Azure
Event Hubs は、シンプルで信頼性と拡張性の高いフル マネージド型のリアルタイム データ インジェスト サービスです。任意のソースから毎秒数百万のイベントをストリーミングすることで、動的なデータ パイプラインを構築し、ビジネスの課題に迅速に対応できます。緊急時には、 geo ディザスター リカバリー および geo レプリケーション機能を使用してデータ処理を続けます。 他の Azure サービスとシームレスに統合することで、有益な分析情報を利用可能にすることができます。コードを変更することなく、既存の Apache Kafka クライアントおよびアプリケーションが Event Hubs と通信できるように設定できます。これにより、自分のクラスターを管理する必要なく、マネージド Kafka エクスペリエンスを実現できます。リアルタイムのデータ インジェストとマイクロバッチ処理を同じス
Phoenix at Scale
Phoenix framework (Elixir) with Redis, at Scale. tokyo.ex#9 #tokyoex
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Functions triggers | Cloud Functions Documentation | Google Cloud
GitHub - cloudevents/spec: CloudEvents Specification
XEP-0060: Publish-Subscribe
リアルタイム対戦ゲームを支える リアルタイムサーバの負荷試験のリアル
Phoenix PubSub
GitHub - cctiger36/phoenix_pubsub_redis_z: Yet another Redis PubSub adapter for Phoenix. Supports sharding across multiple redis nodes.
ErlangElixirFest2018-ohr486-session
