PyTorch + ApexでMixed-Precision Training - Qiita

RTX2080が届いたので早速Tensor Coreを試すことにしました。 Mixed-Precision Trainingとは？ Mixed-Precision Trainingは従来から使われている単精度浮動小数点数(以下FP32)に加え、半精度浮動小数点数(以下FP16)を付加的に使用することでパフォーマンスを向上する手法です。 まず前提として、ニューラルネットワークの学習にFP32でなくFP16を使うメリットとして以下のような点があります。 データ量が半分になるので記憶域及び転送速度の要求を削減できる FP16のgemmはTensor Coreを活用して高速に計算できる 一方、FP16は16bitしかないため、最大で表現できる数は$65504$、$0$に近い値では$10^{-8}$程度のオーダーしかありません。 学習中は小さな勾配の値を比較的大きな重みに足しこんでいくため、全てをF