はてなブックマーク

機械学習を行う上で、GPUによる計算誤差が問題となる場合があります。 CPUとGPUで学習または推論を行った場合に結果に差が出る GPUの型番やソフトウェアの環境（ドライバやCUDA等）が異なる場合に差が出る 同じ計算を繰り返し行った場合に差が出る など、環境間や繰り返しの再現性が確保できないといったことが起こります。 この記事ではNVIDIA製GPU（CUDA）とPyTorch環境におけるそれらの原因と対策についてまとめます。 浮動小数点計算の誤差 前提として、コンピュータで浮動小数点の計算を行う場合、CPU、GPU問わず誤差が生じるため、ニューラルネットワークのあらゆる箇所で誤差を生じる可能性があります。 原理を詳しく述べることはしませんが、そもそも一般的に使われる浮動小数点型の32bitや64bitという限られた情報量で実数を表す精度には限界があることが1つの原因です。 詳しい誤差の