NVIDIAのGPUリソース分割技術

こんにちは、NTT研究所の山口です。 前回の記事でA100のMIGについて触れていますが、MIGを活用する際のモチベーションとして、1つのGPU上で効率的に複数プロセスを実行したり、複数ユーザで利用できるようにしたいという目的が挙げられるかと思います。本記事では1つのGPUリソースを効率的に利用するための技術として、Multi Process Service(MPS), Virtual GPU(vGPU), Multi Instance GPU(MIG)という三つのNVIDIA社の技術についてまとめます。 MPS: GPU上で並列処理を効率的に行うことができるvGPU: GPUを仮想化してVMに対してリソースを割り当てることが可能。分割されたGPUは、VM内で個々にGPUとして認識可能であるため複数ユーザに対して提供しやすいMIG: 最新のアーキテクチャであるAmpereでしか利用できない