『NVLink Bridgeで複数GPUを繋いだら、それらが1GPUとして扱えるようになるんでしょ?』という誤解をされているお客様をしばしばお見受けいたします。こちらの記事では、それが誤解であること、また、SLIやUnified Memoryといった関連する情報についても整理して解説いたします。間違った期待を抱いて失敗しないように、正しい理解を深めていきましょう。 GPUのメモリ空間は他デバイスから隔絶されています GPU上には演算するためのプロセッサと、データを一時的に置いておくためのメモリ(VRAM)が搭載されています。GPUのメモリを、CUDAで書かれたプログラムから利用するには、cudaMallocでメモリ領域を確保し、cudaMemcpyを使ってホスト(CPU側)のメモリとデータの送受信を行い、GPU上で演算kernelとする関数(以下、GPU-Kernel)を呼び出し、最後にc
![NVLink BridgeでGPUを繋いでも1GPUにはなりません | HPCシステムズ Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f2032001a1f05e63d012da0f01d28934d1cce47/height=288;version=1;width=512/https%3A%2F%2Fwww.hpc.co.jp%2Ftech-blog%2Fwp-content%2Fuploads%2Fsites%2F11%2F2019%2F06%2Fdefault-image-logo.png)