Pytorchで混合精度を使用してみる - Qiita

前置き 先日、KaggleのRSNAコンペが終わり、苦戦した点やモデル学習時のポイントなどを備忘録として残しておきます。 コンペ概要 患者の乳房X線（マンモグラフィ）検査画像から乳がんかどうかを特定する二値分類の問題で、一人の患者につき、左胸にがんがあるか、右胸にがんがあるかを予測するといった内容でした。 データ数が5万件以上あり、データ不均衡対策がモデルの予測精度を上げるうえで重要でした。（がん患者の画像が全体の2%ほど） 評価指標はpF1というF1スコアの確率版です。 はじめに Pytorch等の深層学習ライブラリは、32bit浮動小数点（FP32)を利用して計算されることが知られていますが、大規模モデルを学習する際、計算時間がかかりすぎたり、メモリの消費量が大きくなりすぎたりしてしまうという課題に直面します。 モデル精度を落とすことなく、計算速度の向上、メモリ使用量の削減が見込める混

[totttte]

“<デメリット> Tensorコア搭載のGPUでしか使用（パフォーマンスを発揮）できない RTX GPU、V100、A100などが該当”