Dataflow と Pub/Sub を使用して、ストリーミングパイプラインの重複データを処理する | Google Cloud 公式ブログ

テクノロジーカテゴリーの変更を依頼記事元:

cloud.google.com

5 usersがブックマークコメント

記事へのコメント1件

注目コメント
新着コメント

libra_666_arbil [Pub/Sub]

GoogleCloud

2021/09/14 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fcloud.google.com%2Fblog%2Fja%2Fproducts%2Fdata-analytics%2Fhandling-duplicate-data-in-streaming-pipeline-using-pubsub-dataflow" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://cloud.google.com/blog/ja/products/data-analytics/handling-duplicate-data-in-streaming-pipeline-using-pubsub-dataflow">Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する | Google Cloud 公式ブログ</a><a href="https://b.hatena.ne.jp/entry/s/cloud.google.com/blog/ja/products/data-analytics/handling-duplicate-data-in-streaming-pipeline-using-pubsub-dataflow">はてなブックマーク - Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する | Google Cloud 公式ブログ</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

Dataflow と Pub/Sub を使用して、ストリーミングパイプラインの重複データを処理する | Google Cloud 公式ブログ

※この投稿は米国時間 2021 年 8 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。目的スト... ※この投稿は米国時間 2021 年 8 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。目的ストリーミングデータを処理して分析情報を抽出し、リアルタイムアプリケーションを強化することはますます重要になっています。Google Cloud Dataflow と Pub/Sub には、ミッションクリティカルなパイプラインを実行するための、スケーラビリティと信頼性に優れた、完成されたストリーミング分析プラットフォームが用意されています。このようなパイプラインの設計に際して、デベロッパーは、重複データの処理をどのように行うかという課題に頻繁に直面します。このブログでは、ストリーミングパイプラインで重複データがよく発生する場所や、その処理に利用できるいくつかの方法について説明します。また、同じトピックについて説明しているこちらの技術解説もぜひご覧ください。