タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
PubSub/Redisを用いたGoによるスケーラブルなworkerの構築と運用 | メルカリエンジニアリング
こんにちは。メルカリのNotification teamでソフトウェアエンジニアをしている@naruseです。 この記事は、Mercari Advent Calendar 2021 の19日目の記事です。 はじめに 私が所属しているBusiness Platform Notification teamでは、２つの役割で通知周りの基盤を担当しています。 １つ目はアプリケーションとしての役割の通知です。メルカリでは、アプリ内でのお知らせや個別メッセージ、やることリストなどを提供しています。私たちはそれらの膨大なデータを管理し、作成や取得のリクエストに応えています。これらの膨大なデータに対する私たちのチームの過去の記事として、昨年のAdvent calenderの一部である本番稼働中の Spanner にダウンタイム無しに57時間かけてインデックスを追加して得た知見をぜひご覧ください。 ２つ目は
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
概要 以下のような購入時のドメインイベントをメッセージング基盤に非同期で渡してから順番通りに実行したい、となった時に便利なのが順序保証をしてくれるPubSubのordering keyです。 購入処理 各マイクロサービスへの状態変更リクエスト 行動ログ追記 購入完了メールの送信 ただordering keyを使う上での注意点はあまり見かけなかったのでこちらにまとめようと思います。 結論から言うとordering keyの粒度はなるべく細かくしないとスケールしないという話です。 環境 cloud.google.com/go/pubsub v1.19.0 考慮すべき点 同じordering keyのメッセージは同じパーティションにpublishされる Cloud PubSubはメッセージング基盤の概念であるパーティション（Kinesisでいうシャード）をカプセル化しており、ユーザが意識しなくて
タイトルはここぞとばかりに全盛りにしてみました！今回NATSの.NETクライアント実装としてAlterNatsというライブラリを新しく作成し、公開しました。 github - Cysharp/AlterNats 公式の既存クライアントの3倍以上、StackExchange.RedisのPubSubと比較して5倍以上高速であり、通常のPubSubメソッドは全てゼロアロケーションです。 そもそもNATSとはなんぞやか、というと、クラウドネイティブなPubSubのミドルウェアです。Cloud Native Computing Foundationのincubating projectなので、それなりの知名度と実績はあります。 PubSubというと、特にC#だとRedisのPubSub機能で行うのが、StackExchange.Redisという実績あるライブラリもあるし、AWSやAzure、GCP
実践PubSubマイクロサービス / Implementation Pub Sub microservice
イベント駆動なPUB/SUBのマイクロサービスについてお話しています。 具体的なコードを追いながらマイクロサービスを連携させているかの開設がメインです。 こちらのは JJUG CCC 2023 Fall の講演用資料です。 ライブコードリーディング前提の資料です。そのため、ライブコードリーディングがないと理解が難しいかもしれません。 YouTube: https://www.youtube.com/watch?v=gejnwpvsWJE Code: https://github.com/nrslib/pubsubdoc # URL YouTube: https://www.youtube.com/c/narusemi HomePage: https://nrslib.com Twitter: https://twitter.com/nrslib
はじめにTIG DXユニット真野です。 GCP連載2021の1日目です。2020年のGCP連載でもCloud Loggingネタでトップバッター、2021年も先陣を切ることができて光栄です。 本記事では2021年3月に発表されたCloud PubSubのメッセージスキーマを試します。 Creating and managing schemas なお、2021/03/07時点ではプレビューであるのでご注意ください。今後フィードバックにより挙動なり設定方法が変更される可能性があります。 Cloud PubSubとは 公式ドキュメントから引用します。 Pub/Sub は、イベントを処理するサービスとイベントを生成するサービスを切り離す非同期メッセージング サービスです。メッセージング指向のミドルウェア（ストリーミング分析パイプラインにイベントの取り込みと配信を行う）として、Pub/Sub を使用
Cloud RunをCloud PubSubと組み合わせて無料枠の範囲でお試しで使うつもりが一瞬で課金発生してヒヤッとした話 - Qiita
Cloud RunをCloud PubSubと組み合わせて無料枠の範囲でお試しで使うつもりが一瞬で課金発生してヒヤッとした話PubSubGoogleCloudCloudRun 先日公開したログ情報共有サービスLogCrowの中で、ちょっとしたデータ分析用のバッチ処理を走らせるためにCloud Runを使ってみようとした時の話です。 Cloud Runとは？ Cloud Runとは、任意のコンテナイメージをビルド・デプロイし、HTTPのリクエストや、Cloud PubSubをトリガーとしてコンテナに処理を実行させるサービスです。 中はKnativeベースで構成されています。マネージドKnativeサービスです。 サーバレスシステムの基盤になるサービスの1つです。似たようなサービスとしてCloud Functionsがありますが、Functionsはコンテナイメージをデプロイするのではなく、コ
PubSub Functionのfan-outの限界
最近、数百から数千単位の処理を、順次処理するのではなく並列に処理することでリソースを有効に活用して処理時間を短縮する方法を考えて実装を行った。スレッドや goroutines のようなプログラミング言語内の仕組みで作ったのではなくて、すべてフルマネージドのクラウドで行ったのだが、その際に謎の挙動に苦しんだのでそのメモを残しておく。 基本的な仕組み以下を利用した。 Cloud FunctionsCloud PubSubCloud FirestorePubSub Functions で fan-out を行った、という表現になるらしい。 もう少し細かいことを言うと並列に function を呼び出すために、 順次処理のループを回す function の中で処理そのものを行わずに次の function を起動する message を publish する1 から起動された function が個
概要 GCPのCloud PubSubはメッセージング基盤として非常に有用です。 ただし利用する上で考慮すべきことも多々あるのでまとめておきます。 パラメータに関しては主にGoのクライアントライブラリをベースに説明します。 環境 Go 1.15.2 google-cloud-go v0.72.0 SLO/SLA Cloud PubSubのSLOは99.95%です。 自身が提供するサービスのSLOを満たすかはこれを元に利用しましょう。 それを満たせなかったときのSLAとしては以下のように決められています。 各月の稼働率 対象サービスが SLO を満たさなかった場合、お客様の翌月以降の請求書に対して返金される月次請求額の割合 99%～99.95% 未満 10% 95%～99% 未満 25% 95% 未満 50% ref: Pub/Sub Service Level Agreement (SLA
Pubsubパターンメモ
pubsubとは publiser/subsciberの略。 publisherすなわち発行者が生成したメッセージをsubscriberが受け取ることができる。 pubsubを利用することで、publisherが登録した内容を複数のsubscriberに伝えたい内容を伝えることができる。(pubsubの機能を利用することで、チャットシステムを実現することができる。)
PinterestがKafka、Flink、MemQ用の本番環境に対応したPubSub Javaクライアントをオープンソース化
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud PubSubのOrdering Keyで考慮すること - Carpe Diem
neue cc - AlterNats - ハイパフォーマンスな.NET PubSubクライアントと、その実装に見る.NET 6時代のSocketプログラミング最適化のTips、或いはMagicOnionを絡めたメタバース構築のアーキテクチャについて
PubSubのメッセージスキーマを試してみる | フューチャー技術ブログ
GCPのCloud PubSubで考慮すること - Carpe Diem
rizumboy.hatenablog.com
wisteria-valley.hatenablog.com
ny-bocchi-trip.hatenablog.com
www.nikkei.com
woman.nikkei.com
kobe-journal.com