同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としてい
Announcing Pub/Sub: Programmable MQTT-based Messaging
Announcing Pub/Sub: Programmable MQTT-based Messaging2022-05-12 This post is also available in 简体中文, 日本語, Español. One of the underlying questions that drives Platform Week is “how do we enable developers to build full stack applications on Cloudflare?”. With Workers as a serverless environment for easily deploying distributed-by-default applications, KV and Durable Objects for caching and coordin
RedisのPub/Subを使って設定情報を高速配布する。「LINE LIVE」が取り組んだアーキテクチャ改善
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「RedisのPub/Subを使って設定情報を大規模ユーザに高速配布した話」です。 ライブ配信サービス「LINE LIVE」は多くのユーザーに利用されており、なかには数十万ユーザーが同時接続するような配信もあります。「LINE LIVE」のチャットシステムでは、さまざまなシステムやユーザーの設
GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ
この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか？便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは？ GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した
Cloud SpannerとCloud Pub/Subとで実装するTransactional outboxパターン | メルカリエンジニアリング
Credit Designチームでバックエンドエンジニアをしている@iwataです。主にメルペイスマート払い関連の開発をしています。 Merpay Advent Calendar 2021 の21日目の記事をお届けします。 メルペイスマート払いの開発においてもご多分に漏れず、マイクロサービスアーキテクチャを採用しています。マイクロサービス開発において避けては通れない問題として、分散トランザクションによるデータ整合性の担保があります。メルペイスマート払いマイクロサービスでは一部APIにおいて整合性担保のために、Transactional outboxパターンを用いた実装をしています。 本記事ではテーブル設計を含めたその実装の詳細を紹介したいと思います。 tl;dr Transactional outboxパターンを使ったSpanner, Pub/Sub間での整合性担保 Spannerならでは
OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話 - ZOZO TECH BLOG
こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSであるfluent-plugin-gcloud-pubsub-customにコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。 目次 目次 ログ収集基盤の紹介 開発経緯 フロントエンドのログしか取得できない BigQuery ExportはSLAを担保されていない リアルタイムにログを保存できない 実装要件 ログ送信側の環境に依存しない共通の仕組みで実装する 転送されるログの量に応じてオートスケールする構成にする 送られてくるログをロストしない リアルタイムにログが保存される インフラ構成
こんにちは。GMOアドマーケティングのH.Tと申します。 目新しいネタではないのですが、Cloud Pub/SubでBigQueryの「スケジュールされたクエリ」の結果をSlack通知してみたのでご紹介いたします。 きっかけ BigQueryの「スケジュールされたクエリ」が便利で使っています。 「スケジュールされたクエリ」はクエリ失敗時の通知オプションとしてメールかPub/Subから選べるのですが、システム通知をSlackで受け取りたいのでCloud Pub/Sub→Slack通知の連携を試してみました。 システム連携概要 以下図のとおり、BigQuery→Cloud Pub/Sub→Cloud Functions→Slackという形で連携します。 設定の流れ 1.まず、受け取りたいslackのwebhook urlを用意しておきます。 (slack側の準備は本記事では割愛させていただきま
バージョン情報 OpenTelemetry for Go: 1.16.0 OpenTelemetry exporter for Cloud Trace: 1.15.0 こんにちは！Google Cloudでオブザーバビリティを担当しているものです！今日は同僚から「Pub/Sub経由での処理の分散トレースを取得したいんだが」と質問されたので、サンプルを作ったついでに記事を書きました！ TL;DR Pub/Subのメッセージの中にトレース情報を埋め込ん（Injectする）で、各サブスクライバーはメッセージの取得の際に取り出す（Extractする）ことになります。 デモの構成 今回はGKEのクラスターにpublisherとsubscriberのpodを展開します。 このデモでは1:NのPub/Sub構成でトレースが取得できることを見せるために、publisherが1つ、subscriberが2つ
実践 Pub/Sub Messaging - Cloud Pub/Sub を活用するための開発基盤を作った話 | Wantedly Engineer Blog
はじめにこんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（@south37）です。 先日、Wantedly では「システム全体の信頼性向上」と「開発生産性の向上」を両立するために Event-Driven Architecture を採用しているというブログを書かせて頂きました。 開発生産性と信頼性の両立を目指すための Event-Driven Architecture - より良いマイクロサービスアーキテクチャを求めて | Wantedly Engineer Blog こんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（ south37 ）です。 Wantedly では、マイクロサービスアーキテクチャを採用しています。 マイクロサービスで開発を進める上で、重要な関心ごとの1つが「多数のマイク
Cloud Run の Always on CPU で Cloud Pub/Sub から Pull する worker を試してみた
TL; DRCloud Run の Always on CPU を使うと、Cloud Pub/Sub から Pull する Worker を Cloud Run で実行出来ます。ただし、スケーリング等にいくつか諸注意があります。 はじめにCloud Run の Always on CPU が Preview でリリースされて、バックグラウンド タスクや非同期処理で使えると Twitter で宣伝したところ、私の tweet 史上、一番の反響を頂きました。ありがとうございます。また同僚の Shingo-san が素敵な解説記事を書いてくれたり、同じく同僚の Pottava-san も素敵なサンプルコードを書いてくれてたり。「tweet してるだけでいいのかい？本当に？」という私のエンジニアとしての良心の呵責があったため、私もこうして記事を書いています。 試したこと以前、お客様から Cloud
GCPのCloud TasksとCloud Pub/Subの違い - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のM.Mです。 前回のブログでは、はじめてのGoogle App Engineということで、Google App EngineでWEBアプリを作った場合、ログはどのように確認するのか、redisやMySQLとはどのように連携するのかについて紹介しました。 また、WEBアプリは前回実施したKVSやRDBMSとの連携以外にも、他サービスが提供するAPIとの連携も多く行われるので、Google App Engineで作られたWEBアプリからGoogle Cloud Platformにて提供されているサービスを利用して非同期で他のAPIを実行する方法について確認しました。 （以下Google App EngineをGAE、Google Cloud PlatformをGCPと記載します） 1. Cloud TasksとCloud Pub/Sub GCPにて提供されてい
ちょっとこわいGoogle Cloud Pub/Sub によるFaaS アーキテクチャ - GMOインターネットグループ グループ研究開発本部
はじめに あけましておめでとうございます、新卒のY.Cです。この肩書きで投稿するのは最後になりそうです。Google Cloud Functions を使おうとすると大体セットで出てくる Pub/Sub ちゃん、君は誰やねんこっちは定期実行したいだけなんじゃ、とずっと思っていたのですが最近和解できたのでpubsubちゃんの魅力とこわさについて書いてみようと思います。pubsubを知っている人はこわいアーキテクチャまで飛ばしてください。 TL;DR Cloud Pub/Sub はメッセージ送受信を実現するキュー push型は処理の分割点、pull型は集約点という見方もできる メッセージ先を間違えると無限ループするのでこわい Cloud Pub/Sub 概説 pubsubは一言で言うとただのキューです。では、なぜ定期的にcloud functionsを発火させたいだけなのにキューを経由しなけれ
Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング | Amazon Web Services
Amazon Web Services ブログ Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング 分散ソフトウェアアーキテクチャを設計する場合、サービスの情報交換方法を定義することが重要になります。たとえば、非同期通信では、コンポーネントを疎結合化してスケーリングを簡素化することで、変更の影響が軽減され、新機能のリリースが簡単になります。 サービス間の非同期通信で最も一般的な形式は、メッセージキューと pub/sub メッセージングの 2 つです。 メッセージキューでは、コンシューマーによる処理および削除まで、メッセージはキューに格納されます。AWS では、Amazon Simple Queue Service (SQS) が、管理コストなしで完全マネージド型メッセージキューイングのサービスを提供しています。 pub/sub メッセージング
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこでDevelopment Team H Engineerの堀内氏が、「RedisのPubSubを使って設定情報を大規模ユーザーに高速配布した話」というテーマで、設定の同期や配信に関するアーキテクチャの改善について共有します。 自己紹介とアジェンダ 堀内和也氏：みなさん、こんにちは。本セッションでは「RedisのPubSubを使って設定情報を大規模ユーザーに高速配布した話」と題して、開発3センターの堀内が話します。 突然ですが、大型アップデートをしたり新しい機能をリリースしたりすると、ちゃんと動いているのかとか、不具合でなにか事故ってないかとか、心配になりませんか？ そうでなくとも、日々システムが正常に動いている
Redis Pub/Subを使って、ライブ配信の同時視聴数を10倍増やした話 | CyberAgent Developers Blog
こんにちは、AmebaLIFE事業本部の「ピグパーティ」でバックエンドエンジニアをしている松岡穂高です。 今回は、RedisのPub/Subを使用して、「ピグパーティ」のライブ配信機能（以下、観覧機能）において高い同時視聴数でも安定して配信できるように改善をしたため、その事例を紹介したいと思います。 ピグパーティとは 「ピグパーティ」とは、仮想空間内でなりきりたいアバター（ピグ）を作って、ピグのきせかえや自分のお部屋のもようがえをしながら楽しむ、アバターSNSサービスです。 背景 観覧機能は、もようがえをしたお部屋でパーティを開催し、ボイスチャットやコメント機能を使って配信者と視聴者（以下、観覧ユーザー）が交流するための機能です。 普段の運用では負荷に問題はありませんでしたが、最近ではVTuberとのコラボイベントで大規模な観覧パーティを行う機会が増えました。既存の仕様では負荷に耐えること
実践PubSubマイクロサービス / Implementation Pub Sub microservice
イベント駆動なPUB/SUBのマイクロサービスについてお話しています。 具体的なコードを追いながらマイクロサービスを連携させているかの開設がメインです。 こちらのは JJUG CCC 2023 Fall の講演用資料です。 ライブコードリーディング前提の資料です。そのため、ライブコードリーディング…
Cloud Monitoring の通知チャネルとして Pub/Sub が利用可能に | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 6 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 運用業務の担当者にとって、機械的な作業（いわゆる「手間のかかる仕事」）にとられる時間を減らし、もっと有益な作業に時間を費やしたいというのは世界共通の願いであり、こうした背景から、モニタリング ワークフローやアラート送信ワークフローの自動化が進められています。たとえば、Google のサイト信頼性エンジニアリング（SRE）部門は、SRE の業務のうち、機械的な作業にとられる時間を 50% 未満に抑えることを目標に掲げ、より意義深いエンジニアリング プロジェクトに時間を充てることを目指しています。 Google の Cloud Monitoring サービスでは、多様な通知チャネルからアラートを送信することが可能です。たとえば、通知チャネルの一つである Webhook は、
Announcing gRPC Alpha for Google Cloud Pub/Sub | Google Cloud Blog
Internet RPC protocols have been notoriously inefficient, from XML stanzas to HTTP/JSON using unidirectional communications — gRPC to the rescue! Announced last year, gRPC is an open source RPC framework that came out of Google’s experience running much of our infrastructure using an internal version called Stubby. Not only is gRPC significantly more efficient than JSON/HTTP APIs, it supports most
はじめにはじめまして。2023年1月キャリア入社の添田です。1月から参画させていただいているプロジェクトでGoogle Cloud PlatformのPubSub(以降PubSub)を使用した開発を行うことになり、苦戦した部分が多々ありました。そこで今回はPubSubについて噛み砕いて説明していきます。今後PubSubを使用した開発をする方の助けになれればと思います。 (Google Cloud Platform PubSubについての公式ドキュメントはこちらです。) 目次 そもそもPubSubとは何か PubSubを理解する上で重要な単語の解説 実際の処理の流れの解説 PubSubを使用したユースケース考えてみた まとめ 最後に 1. そもそもPubSubとは何かPubSubとは、非同期型のメッセージングサービスです。つまり、異なるコンポーネントやアプリケーション間でデータを非同期的に送
株式会社ヤプリ：データ パイプラインを Pub/Sub や Dataflow で構築しBigQuery へリアルタイムにデータを蓄積、Looker により顧客のデータ活用を促進 | Google Cloud 公式ブログ
株式会社ヤプリ：データ パイプラインを Pub/Sub や Dataflow で構築しBigQuery へリアルタイムにデータを蓄積、Looker により顧客のデータ活用を促進 ノーコードで大企業向けモバイルアプリを開発・運用・分析できるプラットフォームを展開する株式会社ヤプリ（以下、ヤプリ）。分析機能と可視化の強化を目的に Google Cloud を活用したデータ パイプラインを構築しています。このプロジェクトに携わったメンバーの皆さんに話を伺いました。 （利用している Google Cloud ソリューション） ストリーム分析 （利用している Google Cloud サービス） BigQuery、Cloud Run、Pub/Sub、Dataflow、Cloud Functions、Cloud Storage、Looker など データ ウェアハウスとしての BigQuery のコス
Vue Fes Japan 2023のLT登壇用の資料。
Pub/Subパターンとは Pub/Subパターンとは、イベント駆動型プログラミングのデザインパターンです。Publisher（発行者）が発行したイベントをBroker（仲介者）が取りまとめ、Subscriber（購読者）に伝達します。イベントはBrokerが管理しているため、PublisherとSubscriber同士は疎結合となります。 What is Pub-Sub? Rails Publish-Subscribe Pattern Tutorial | Toptalより Observerパターンとの違い 同じイベント駆動のデザインパターンにObseverパターンがあります。 ObseverパターンとPub/Subパターンの大きな違いは、イベントをどこで管理するのかにあります。Obseverパターンは、観測者と観測対象が直接イベントのやり取りを行いますが、Pub/Subパターンでは、E
Cloud Pub/Subで考慮したこと
この記事は、Magic Moment Advent Calendar 2023 14日目の記事です。 Magic Moment の@kntowdです。 先日とある非同期処理を含む機能を、Cloud Pub/Subを利用して開発することになりました。Cloud Pub/Subについて調べる前の私は、TopicとSubscriptionを作成すれば良いと思っていたのですが、調べてみると考慮しなくてはいけないことが多くあることに気づきました。紆余曲折があり結局Cloud Pub/Subを使わなくなってしまったのですが、頑張って調べた内容が日の目を浴びないのは悲しいので、本記事では個人的に重要だと思ったトピックをいくつか紹介したいと思います。Cloud Pub/Subの構成コンポーネントやメッセージのライフサイクルなどはこちらのドキュメントをご確認ください。 Cloud Pub/Subを使って実現
RedisのPub/Subがどういうものか理解してない人がいたら実際にRedisのコマンドラインを使って動作を行なってみましょう。そうすればきっと理解できるはず。 RedisでPub/Subを理解 PubはPublish(パブリッシュ)の略でSubはSubcribe(サブスクライブ)の略で、日本語ではPublishは発行する、Subscribeは購読するという意味になります。 RedisのPub/Subを理解するのにもう一つ重要なChannelというものが存在することをまず知っておく必要があります。Channelは両端に人がいる糸電話のイメージを持ってもらってもいいかと思います。 Publish, Subscribe, Channelの関係がわかればRedisのPub/Subを理解することができます。 早速ですが、身近な例とRedisのコマンドを組み合わせながら説明していきたいと思います。
If you need a publish/subscribe or job server at any point in your project, try using Postgres. It'll give you lots of data integrity and performance guarantees, and it doesn't require you or your team learning any new technology. If you're making any project of sufficient complexity, you'll need a publish/subscribe server to process events. This article will introduce you to Postgres, explain the
Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 8 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 目的ストリーミング データを処理して分析情報を抽出し、リアルタイム アプリケーションを強化することはますます重要になっています。Google Cloud Dataflow と Pub/Sub には、ミッション クリティカルなパイプラインを実行するための、スケーラビリティと信頼性に優れた、完成されたストリーミング分析プラットフォームが用意されています。このようなパイプラインの設計に際して、デベロッパーは、重複データの処理をどのように行うかという課題に頻繁に直面します。 このブログでは、ストリーミング パイプラインで重複データがよく発生する場所や、その処理に利用できるいくつかの方法について説明します。また、同じトピックについて説明しているこちらの技術解説もぜひご覧ください。
第1世代Pub/SubトリガーのGoogle Cloud Functionsを第2世代のHTTPトリガーに書き換えてみた | DevelopersIO
Pub/Subトリガーで実装したGoogle Cloud Functionsを新しい第2世代に作り替える。 トリガーはタイムアウトの長いHTTPトリガーに変更し、Pub/Subから起動するように設定する。 データアナリティクス事業本部、池田です。 この記事は夏のうちに書きたかったのですが、とっくに終わってしまいましたね。 Google Cloud Functions の第二世代（2nd gen）が今夏 GA になりました。 【 Cloud Functions（第 2 世代）の一般提供を開始: より多くのイベント、コンピューティング、コントロールを提供 】 世代間の比較も公式ガイドにあります。 【 Cloud Functions バージョンの比較＞比較表 】 上記ガイドの中でも、 移行の機能は提供予定（執筆時点）とはなっていますが、今回は自分でPythonコードやデプロイのスクリプトを書き換
Cloud Pub/Sub のキホン
みなさん、こんにちは！Google Cloudの高田です。この記事は Google Cloud Japan Advent Calendar 2022の今から始める Google Cloud の12/18の記事になります。（12/18に鋭意作成中 ）この記事では、Cloud Pub/Subについて書いていきたいと思います。(公式ドキュメントはこちら) TL;DR; Cloud Pub/Sub とは何か リアルタイムデータ分析のアーキテクチャ Pub/Sub と Pub/Sub Lite の使い所 その他、知っておいてもらいたい機能 Cloud Pub/Sub とは何か 一言で Pub/Sub を説明すると、スケーラブルで非同期なメッセージングサービスになります。Pub/Sub を使うことによって、アプリケーションやシステムで発生したイベントをトリガとしてメッセージを発行し、さまざまなサービス
Introducing Amazon SNS FIFO – First-In-First-Out Pub/Sub Messaging | Amazon Web Services
AWS News Blog Introducing Amazon SNS FIFO – First-In-First-Out Pub/Sub Messaging When designing a distributed software architecture, it is important to define how services exchange information. For example, the use of asynchronous communication decouples components and simplifies scaling, reducing the impact of changes and making it easier to release new features. The two most common forms of asyn
はじめに 本記事は無料で使用できるHTTPベースのpub-subサービス、ntfyについて記載しています。 サインアップ（アカウントの作成）も不要で1分もかからずにトピックを作成し、pub-subの仕組みを用いて簡単にWebやモバイルにプッシュ通知ができます。 オープンソースになるので自前でホスティングして、ローカル環境などクローズドな環境でも動かすことができます。 では、早速使っていきましょう。 ntfy Web app はじめにWebアプリから試してみます。 ntfyにアクセスし、画面右上の「Web app」を押します。 「+トピックを購読」を押します。 トピック名を入力します。 注意事項としてサインアップがないため、トピックはパスワードと同等です。 簡単に推測できないものをトピック名に入力してください。 ここではCyberChefで適当に生成したハッシュ値を入力しています。 本記事の
GCP の Pub/Sub と Gmail APIを使って、メールをトリガーにイベントを実行する - Qiita
背景 Gmail API の送信する方法は記事たくさんあると思うんですが、受信側はなかなかないですよね。 GAS使うっていうのも一つの手かとは思うんですが、1分ごとに実行し続けるっていうのもちょっと気持ち悪いですし、ラグが出てしまうと思うので、今回 Cloud Pub/Subを使って実装してみたいと思います。 Pub/Subとは Pub/Sub を使用すると、パブリッシャーとサブスクライバーと呼ばれるイベント プロデューサーとコンシューマーのシステムを作成できます。パブリッシャーは、同期リモート プロシージャ コール（RPC）ではなく、イベントをブロードキャストすることによってサブスクライバーと非同期に通信します。 カタカナ多めで頭混乱しますが、パブリッシャーとサブスクライバーというものがあって、push型でイベントを実行できるみたいです。 流れ Gmail API登録 まず、Gmail
Pub/Sub を使ってつまらない会議をなくし、システムをスケールアップさせましょう | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 12 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。 さて、モノリシック アプリケーションとはおさらばし、サービスにリファクタリングをしました。提供も早くなり、コードもわかりやすくなりました。しかし、サービス間のコミュニケーションの複雑さが、パフォーマンスにも悪影響を及ぼしています。さらに、新しいチームのインテグレーションのたびに、山ほどミーティングをしなければなりません。メッセージング システムによって確実に配信されるイベントに対して、サービスがパブリッシュとリアクションを行う非同期のコミュニケーションを検討する時期に来ています。 このモデルでは、サービスはイベントに対してコンピューティングを行い、それを Pub/Sub にパブリッシュするだけでいいのです。ダウンストリーム サービスのレイテンシや可用性の特性の違いに対
Pub/Sub によりこれまで以上にアクセスしやすくなったスケーラブルなリアルタイム分析 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 12 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 近頃はリアルタイム分析がビジネスに欠かせなくなっています。最新のデータに基づくリアルタイムの自動意思決定は、もはや高度なテクノロジー ファーストの企業だけのものではありません。それは、ビジネスを行うための基本的な方法になりつつあります。IDC によれば、作成されるデータの 4 分の 1 以上は、今後 5 年でリアルタイムのデータになります。この増加を促進していると思われる要因は、サービスとユーザー エクスペリエンスの品質向上という競争圧力です。もう一つの要因は、従来のさまざまなビジネスのコンシューマライゼーションです。以前はエージェントによって行われていた多くの機能が消費者自身によって行われるようになりました。現在、銀行、小売業者、サービス プロバイダはそれぞれ、内部ア
BigQuery subscriptions | Pub/Sub Documentation | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. This document provides an overview of a BigQuery subscription, its workflow, and associated properties. A BigQuery subscription is a type of export subscription that writes messages to an existing BigQuery table as they are received. You don't need to configure a separate subscriber client. Use the Google Cloud
Cloud Pub/Sub schema evolution is now Generally Available | Google Cloud Blog
Prateek DubleProduct Management Lead, Cloud Pub/Sub Pub/Sub schemas are designed to allow safe, structured communication between publishers and subscribers. In particular, the use of schemas provides that guarantee that any message published adheres to a schema and encoding, which the subscriber can rely on when reading the data. Schemas tend to evolve over time. For example, a retailer is capturi
スケーラブルなWebサービスのよくある設計はWebサーバの前段にロードバランサーを設置し後段にWebサーバを複数台配置するというものである。通常のWebサービスはステートレスなHTTP(もしくはHTTPS)通信のためこの方式で問題なく稼働する。 しかし、ステートフルなWebSocket通信においては以下の課題が存在する。 ロードバランサーがWebSocket通信を判別しセッションを保持しているバックエンドサーバに転送できなければならない。自分以外のWebSocketサーバが管理しているクライアントにはWebSocket通信を行うことができない。 そこで本稿では以下の方法でこの2つの課題の解決を試みる。 WebSocket対応のロードバランサーを使う。Pub/Subを使う。全バックエンドサーバはsubscribeしておき、情報を送信したいサーバはpublishする。 この方法をオンプレミスで
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Cloud Pub/Sub調査まとめ
ライフサイクルパブリッシャーがメッセージを送信メッセージがCloud Pub/Sub内のストレージに書き込まれるCloud Pub/Subがメッセージを受信したことをパブリッシャーにACKして、トピックに属する全てのサブスクリプションに配信することを保証メッセージをストレージに書き込むと同時に、サブスクライバーにメッセージを配信サブスクライバーは、メッセージを受信したことをCloud Pub/SubにACK少なくとも1つのサブスクライバーがメッセージ受信のACKを送ってきたらCloud Pub/Subはストレージからメッセージを削除 メッセージについてメッセージ公開ステップデータを含むメッセージを作成Cloud Pub/Subサーバーにリクエスト送信目的のトピックに公開使用上の注意点REST で JSON を使用する場合、 メッセージ データを base64 でエンコードするデコード後のリ
エミュレータを使用したローカルでのアプリのテスト | Pub/Sub Documentation | Google Cloud
フィードバックを送信 エミュレータを使用したローカルでのアプリのテスト コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 アプリケーションをローカルで開発してテストするには、Pub/Sub エミュレータを使用できます。これにより、本番環境の Pub/Sub サービスのローカル エミュレーションを可能にします。Pub/Sub エミュレータは Google Cloud CLI を使用して実行します。 エミュレータに対してアプリケーションを実行するには、まずエミュレータを起動し、環境変数を設定します。アプリケーションは、本番環境の Pub/Sub サービスではなくエミュレータと通信する必要があります。作成されたリソースとエミュレータに公開されたメッセージは、エミュレータ セッションの存続期間にわたって持続されます。 始める前に Pub/Sub エミュレータを使用す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Pub/SubでBigQueryの「スケジュールされたクエリ」の結果をSlack通知する
Cloud Pub/Sub経由でトレースを取得する
RedisのPub/Subを活用してユーザー情報をリアルタイムに反映 「同時」にこだわったLINE LIVEの同期システム
GCP Pub/Subの概念をかみ砕いて説明してみた | フューチャー技術ブログ
Composition API時代の Pub/Subパターンでの状態管理
PythonにおけるPub/Subパターンの実装
RedisのPub/Subがわからない人はRedisを使って理解しよう | アールエフェクト
Postgres is a great pub/sub & job server
無料のpub-subサービスで簡単にプッシュ通知 ntfy - Qiita
Pub/Subを使ってWebSocketサーバをスケールアウトさせる（オンプレ版） - テトシスの備忘録
WebsocketとRedis Pub/Sub - Qiita