AMPとTensorRT - 48's diary私個人や関係者にとって自明なことでも意外と記録を残すことは重要かなと思うことがありました。忙しいとサボっちゃうんだけどね。 AMPとTensorRTは昨年から深層学習分野で活躍している技術です。 AMPはAutomatic Mixed Precisionの略で，自動的に浮動小数点の精度を変更して計算速度を上げる技術です。 世間一般では倍精度と単精度の浮動小数点演算が使われています。それぞれ64bit，32bitです。大昔倍精度が普及する前は単精度を組み合わせて精度を上げたりしていましたが和や差でも2倍の時間がかかるのは自明です。 機械学習分野ではこの逆で精度を下げることにより演算速度を上げる技術が今流行っています。特に行列演算では同時に複数の演算を行います。半精度というのが普及しており色々あるのですがfp16やらBF16やらあります。簡単には64bit演算1個する間に16bit演算4個でき
