[GPUを簡単に高速化・省メモリ化] NVIDIAのapex.ampがPyTorchに統合されたようです - Qiita対象とする読者 PyTorch 1.6を利用できる環境にあってVolta以降のGPUの計算を簡単に高速化・省メモリ化したい方 はじめに Volta以降のGPUではfloat16/float32混合精度演算により計算の高速化・メモリの節約を行うTensorCoreが搭載されています。 しかし、特に明示的にプログラムを書かない限り?はfloat32による計算が行われ、TensorCoreを有効活用することはできません。かといって単に全てfloat16化して計算を行うだけだと、表現力が少なかったり、勾配でアンダーフローしてしまったりとモデルの性能が維持できません。 そこで、Automatic Mixed Precision (amp)機能によってfloat32の保持や勾配の値のスケーリング等を自動的に行うことでTensorCoreを有効活用し、GPU計算の高速化・省メモリ化が実現されます。 もう
![[GPUを簡単に高速化・省メモリ化] NVIDIAのapex.ampがPyTorchに統合されたようです - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/17a15eee2a60d5939608527e4a44877431e1ff96/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCR1BVJUUzJTgyJTkyJUU3JUIwJUExJUU1JThEJTk4JUUzJTgxJUFCJUU5JUFCJTk4JUU5JTgwJTlGJUU1JThDJTk2JUUzJTgzJUJCJUU3JTlDJTgxJUUzJTgzJUExJUUzJTgzJUEyJUUzJTgzJUFBJUU1JThDJTk2JTVEJTIwJTIwTlZJRElBJUUzJTgxJUFFYXBleC5hbXAlRTMlODElOENQeVRvcmNoJUUzJTgxJUFCJUU3JUI1JUIxJUU1JTkwJTg4JUUzJTgxJTk1JUUzJTgyJThDJUUzJTgxJTlGJUUzJTgyJTg4JUUzJTgxJTg2JUUzJTgxJUE3JUUzJTgxJTk5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hNzI3NmFiODNiNjczNjVmYTA3YzMyYjA0MzUyNjdlZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwU29zdWtlMTE1JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03ZmY1MWZkN2JkNDQyNTA1ODdhZjFkN2JlNTlmYWRkOQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dafec5b83325ddcb948a9ff47525fcca0)
