大規模バッチ パイプラインのベスト プラクティス | Cloud Dataflow | Google Cloud Documentation

フィードバックを送信 大規模バッチ パイプラインのベスト プラクティス コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このドキュメントでは、大規模なバッチ パイプラインでジョブの失敗の影響を最小限に抑える方法について説明します。大規模なワークロードの失敗は、障害からの復旧と修正に時間や費用がかかるため、特に影響が大きくなります。これらのパイプラインが失敗した場合に最初から再試行すると、時間と費用の両方が多くかかります。 費用のかかるバッチ パイプラインの失敗を減らすには、このページのガイドラインに沿って対応してください。常に失敗した要素やパイプラインの障害を完全に回避することはできないため、ここで説明する手法は、復元力の向上、障害による費用の削減、障害発生時のデバッグや障害の把握を容易にすることに重点を置いています。 一般的なパイプラインのベスト プラク