CUDA 12.8 における Checkpoint API の概要 - NTT docomo Business Engineers' Blog

こんにちは、イノベーションセンターの鈴ヶ嶺です。普段は AI/ML システムに関する業務に従事しています。 本記事では、CUDA 12.8 から追加された Checkpoint API の概要について解説します。 まず、Checkpoint のユースケースやこれまでの NVIDIA CUDA における Checkpoint の試みなどの背景を説明し、新たに追加された CUDA Checkpointing について解説します。 さらに実際に実装し、torchvision や transformers などの CUDA アプリケーションに対して、Checkpoint の検証をしています。 背景 CUDA Checkpointing 実装と検証 cu_check tool 検証 Pytorch Counter torchvision transformers まとめ 背景 Checkpoint

[misshiki]

“CUDA 12.8 から追加された Checkpoint API の概要について解説。Checkpoint のユースケースや背景を説明し、...実際に実装し、torchvision や transformers などの CUDA アプリケーションに対して、Checkpoint の検証”