Automatic Mixed Precision (AMP)：PyTorchでの学習を高速化 - QiitaAMPを使うとNaNに出くわしてうまく学習できない場合があったので，そのための備忘録と，AMP自体のまとめ．あまり検索してもでてこない注意点があったので，参考になればうれしいです． Averaged Mixed Precision（AMP）とは PyTorch中の一部の計算を，通常float32で計算するところ，float16で計算して，高速化するための技術です．そんなことやると性能が下がるのでは？という疑いもありますが，NVIDIAのページとかを見ると，あまり下がらなさそうです． 基本的には，計算も計算結果もfloat16で持ちますが，パラメタはfloat32で持つので，テスト時にfloat16でしか計算できない，ということは起こりません．（全部float16で持つこともできますが，性能の低下が起きます．） 使い方 PyTorchのドキュメントの通りにやればいいです．基本的にGPU用です
