(ソースコードメモ)PyTorchでのCUDA側並列処理 - Qiita

はじめに PyTorchのCUDAプログラミングに絞って並列処理を見てみる。なお、CPU側の並列処理は別資料に記載済みである。ここでは、 C++の拡張仕様であるCUDAの基礎知識 カーネルレベルの並列処理 add関数の実装 im2col関数の実装 ストリームレベルの並列処理 DistributedDataParallelの呼び出し処理の実装 について説明する。 おことわり PyTorchでは、ATen配下で演算処理を行っている。しかし、その前身であるTorchの資産を引き継いでいるため、THC(TorcH Cuda)のTensorからATen/nativeに書き換え中である。古いTHCTensor部分は参考資料として引用しておくが、言及はしない。また、この書き換え作業は1年以上継続中でありゆっくりと進んでいる。あと一年以上はかかるのではと思う。 BLAS(行列演算)やcudnn(深層学習演