タグ

ブックマーク / qiita.com/ksasaki (1)

  • Automatic Mixed Precision (AMP) でニューラルネットワークのトレーニングを高速化 - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※ 2021/01/04 NVIDIA Ampere アーキテクチャの A40、RTX A6000、GeForce RTX 30 シリーズを追記 ※ 2020/06/11 NVIDIA Ampere アーキテクチャの発表に伴い一部更新。 ※ 2020/02/24 Google さんのブログで混合精度演算が取り上げられたので、その記事への参照を追加するなどしました。 エヌビディアの佐々木です。 ニューラルネットワークのトレーニングに Volta アーキテクチャ以降の (つまりわりと新しい) GPU をご利用の方は、 Tensor コアによ

    Automatic Mixed Precision (AMP) でニューラルネットワークのトレーニングを高速化 - Qiita
    sh19910711
    sh19910711 2024/10/13
    "Mixed Precision Training という Baidu Research と NVIDIA による論文 / 半精度浮動小数点数 (FP16) を使っても、いくつかの工夫を加えることでモデルの正確度をほぼ落とすことなく、トレーニングを高速化できることが示され" '19
  • 1