分散 GPU トレーニング ガイド (SDK v2) - Azure Machine Learning適用対象: Python SDK azure-ai-ml v2 (現行) Azure Machine Learning での分散 GPU トレーニング コードの使用の詳細について説明します。 この記事は、既存の分散トレーニング コードを実行する際に役立ち、以下の各フレームワークについて従うべきヒントと例を提供します。 PyTorch TensorFlow InfiniBand による GPU トレーニングの高速化 前提条件 "データ並列処理"、"分散データ並列処理"、"モデル並列処理" など、分散 GPU トレーニングの基本的な概念を確認します。 プロセス グループの初期化 分散トレーニングのバックボーンは、相互を認識し、バックエンドを使用して相互に通信できる、プロセスのグループに基づいています。 PyTorch の場合、プロセス グループは、すべての分散プロセスで torch.distr
