今回は、TensorRT で物体検出・姿勢推定はどれくらい速くなるのかを紹介します。せっかちな人のために、TensorRT による効果を先にかいつまんで書いておきます。 RefineDet という物体検出モデルでは 38 fps が 68 fps に向上 (x1.8 Faster!) OpenPose という複数人物姿勢推定モデルでは 10 fps が 25 fps に向上 (x2.5 Faster!) ベンチマークは NVIDIA GeForce GTX 1080 Ti で実施 なぜ TensorRT を使うのか、という導入が長いですが、興味があればどうぞ。 自己紹介 最近やっていること 背景 深層学習モデルの推論とその課題 ハードウェアの動向 ソフトウェアの動向 TensorRT 物体検出・姿勢推定をベンチマーク RefineDet のベンチマーク結果 OpenPose のベンチマーク