エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Automatic Mixed Precision (AMP):PyTorchでの学習を高速化 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Automatic Mixed Precision (AMP):PyTorchでの学習を高速化 - Qiita
AMPを使うとNaNに出くわしてうまく学習できない場合があったので,そのための備忘録と,AMP自体のまとめ... AMPを使うとNaNに出くわしてうまく学習できない場合があったので,そのための備忘録と,AMP自体のまとめ.あまり検索してもでてこない注意点があったので,参考になればうれしいです. Averaged Mixed Precision(AMP)とは PyTorch中の一部の計算を,通常float32で計算するところ,float16で計算して,高速化するための技術です.そんなことやると性能が下がるのでは?という疑いもありますが,NVIDIAのページとかを見ると,あまり下がらなさそうです. 基本的には,計算も計算結果もfloat16で持ちますが,パラメタはfloat32で持つので,テスト時にfloat16でしか計算できない,ということは起こりません.(全部float16で持つこともできますが,性能の低下が起きます.) 使い方 PyTorchのドキュメントの通りにやればいいです.基本的にGPU用です