GKEクラスタ内部であってもイベントを直接転送できるEventarcの意外な落とし穴 - Assured Tech Blog
こんにちは。エンジニアの岩松です。たまにVisionalグループの軽音部でベースを弾いています。最近エフェクターを買ってみたのですが、欲しいものが次々と増えてきて困っています。 この記事はGCP(Google Cloud Platform) Advent Calendar 2023 15日目の記事となります。( Assured Tech Blog でアドベントカレンダーは初参加！ 🎉 ) TL;DR Eventarcを使えばイベントドリブンなリソース連携をマネージドかつ手軽に管理できる イベント転送先にはGKEクラスタ内部のエンドポイントも直接指定できるのでPub/Subや Cloud StorageのイベントをPush型で処理しやすくなる Terraform経由だとEventarcが作成ができず、関連リソースが🧟♂️になるバグと遭遇したが、サポートとやりとりを続けて解消できた やり
Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 8 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 目的ストリーミング データを処理して分析情報を抽出し、リアルタイム アプリケーションを強化することはますます重要になっています。Google Cloud Dataflow と Pub/Sub には、ミッション クリティカルなパイプラインを実行するための、スケーラビリティと信頼性に優れた、完成されたストリーミング分析プラットフォームが用意されています。このようなパイプラインの設計に際して、デベロッパーは、重複データの処理をどのように行うかという課題に頻繁に直面します。 このブログでは、ストリーミング パイプラインで重複データがよく発生する場所や、その処理に利用できるいくつかの方法について説明します。また、同じトピックについて説明しているこちらの技術解説もぜひご覧ください。
Cloud Pub/Sub、1 回限りの配信機能の一般提供を発表 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 12 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 本日、Google Cloud Pub/Sub チームは 1 回限りの配信機能の一般提供の開始を発表しました。この機能により、Pub/Sub のお客様は、クラウド リージョン内で 1 回限りの配信を受けることができ、以下の点が保証されます。 メッセージの確認応答が完了すると、再配信は発生しない。 メッセージが未処理の間、再配信は発生しない。メッセージは、確認応答期限が切れるか、確認応答が行われるまで、未処理とみなされます。 確認応答の期限切れまたはクライアントによる否定確認応答により複数の有効な配信が存在する場合は、メッセージの確認応答に最新の確認応答 ID のみを使用できる。以前の確認応答 ID を持つリクエストは失敗します。 このブログでは、1 回限りの配信の基本、
Cloud Pub/Sub経由でトレースを取得する
バージョン情報 OpenTelemetry for Go: 1.16.0 OpenTelemetry exporter for Cloud Trace: 1.15.0 こんにちは！Google Cloudでオブザーバビリティを担当しているものです！今日は同僚から「Pub/Sub経由での処理の分散トレースを取得したいんだが」と質問されたので、サンプルを作ったついでに記事を書きました！ TL;DR Pub/Subのメッセージの中にトレース情報を埋め込ん（Injectする）で、各サブスクライバーはメッセージの取得の際に取り出す（Extractする）ことになります。 デモの構成 今回はGKEのクラスターにpublisherとsubscriberのpodを展開します。 このデモでは1:NのPub/Sub構成でトレースが取得できることを見せるために、publisherが1つ、subscriberが2つ
GCP Pub/Subの概念をかみ砕いて説明してみた | フューチャー技術ブログ
はじめにはじめまして。2023年1月キャリア入社の添田です。1月から参画させていただいているプロジェクトでGoogle Cloud PlatformのPubSub(以降PubSub)を使用した開発を行うことになり、苦戦した部分が多々ありました。そこで今回はPubSubについて噛み砕いて説明していきます。今後PubSubを使用した開発をする方の助けになれればと思います。 (Google Cloud Platform PubSubについての公式ドキュメントはこちらです。) 目次 そもそもPubSubとは何か PubSubを理解する上で重要な単語の解説 実際の処理の流れの解説 PubSubを使用したユースケース考えてみた まとめ 最後に 1. そもそもPubSubとは何かPubSubとは、非同期型のメッセージングサービスです。つまり、異なるコンポーネントやアプリケーション間でデータを非同期的に送
GO TechTalk #19 タクシーアプリ『GO』事業成長を支えるデータ分析基盤の継続的改善！
■ 内容 ・タクシーアプリ『GO』のデータ基盤の全体像（鈴木） p. 3~ ・車両位置情報データの圧縮によるCloud Pub/Subのコスト削減（牧瀬） p. 8~ ・AWS Aurora S3 Export を利用した、負荷をかけない GCP BigQuery へのデータ連携 (伊田) p. 23~ ・到着予想時間（ETA）サービスの特徴量のニアリアルタイム化（鈴木） p. 39~ ■ YouTube https://www.youtube.com/live/sD8IpwoIkaw?feature=share&t=170 ■ connpass https://jtx.connpass.com/event/282134/
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
技術調査メモ：Google提供のDataflowテンプレートでできること、できないこと_20200604 - case-kの備忘録
Dataflow テンプレートを使用すると、Cloud Storage 上のパイプラインをステージングして、さまざまな環境で実行できます。テンプレートは、Google 提供のテンプレートを使用することも、自身で作成することもできます。 Google提供のDataflowテンプレートでできること、できないことを調べてみました。 Googleが提供しているテンプレートを使う場合 1. メッセージ重複 Publisherが複数回Publishした場合 Pub/Subで自動付与されるmessageId重複排除 2. UDFの対応可否について 3. ウィンドウ処理やウォーターマーク対応可否について Dataflowのカスタムテンプレートを作る場合 1. Python3系のサポート状況 2. オートスケール対応 3. ウィンドウ・ウォーターマーク対応 4. Publisherが複数回Publishした
Cloud Dataflow と Cloud Pub/Sub で Exactly-once なストリーミングインサートを - public note
前回の記事 では、Cloud Dataflow と Apache Beam に入門しました。その続きとして、今回は BigQuery に対してストリーミングインサートをしてみます。 また、Cloud Pub/Sub と組み合わせることで Exactly-once を実現できるので、合わせて検証します。 ソースコード データソース 事前準備 イメージのビルド 処理内容 Beam パイプライン Pipeline ReadFromPubSub ParDo(ParseMessage()) WriteToBigQuery まとめ ソースコード 今回実装したものはこちらにあります。 github.com Docker で Beam 環境をつくりましたので、GCP プロジェクトをお持ちであればさっと試せるようになっています。 エラーハンドリングは無なので、目をつぶっていただけると... データソース デ
GAE/GCEのログ監視 & GAE/GCEのエラーログをCloud Logging -> Cloud Pub/Sub からの GASでSlackへ流す - Qiita
GAE/GCEのログ監視 & GAE/GCEのエラーログをCloud Logging -> Cloud Pub/Sub からの GASでSlackへ流すGoogleAppsScriptGoogleAppEngineGoogleCloudMonitoringgooglecloud この記事はGoogle Cloud Platform Advent Calendar 2015 10日目に投稿する予定だったのですが筆者が胃腸炎になり書くことができず投稿が遅れてしまった記事です。 楽しみにされてた方申し訳ございませんでした。。。。 システムを運用しているとログってとても重要ですね。 ただエラーログを検知して、問題があるシステムのログを閲覧可能な場所にアクセスし、そのログを特定するのは結構面倒だったりします。 GAEでもLogs Viewerがありますが、そこまでパフォーマンスも良くはなく、わざわざ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
