torchcomms: a modern PyTorch communications API – PyTorch

Introduction Torchcomms is a new experimental, lightweight communication API intended for use with PyTorch Distributed (PTD). In addition to the core API, we are open-sourcing NCCLX, a new backend we developed to scale to over 100,000 GPUs. With our first release of torchcomms, we’re delivering the foundational APIs and backends required for large-scale model training in PyTorch. This initial rele

[misshiki]

“Torchcommsは、PyTorch Distributed (PTD) での使用を目的とした、実験的な軽量通信APIです。コアAPIに加え、10万基以上のGPUに拡張できるように開発した新しいバックエンドであるNCCLXをオープンソース化します。”