自己紹介 当記事はKichigai-Friends Advent Calendar 2017です. こんにちは,TrsNium です. 現在 大学を休学して放浪しています. 養ってくれる方を募集しています. 昨日開催されていたGTCJapnaで行って気になった,TensorRTの紹介をしたいと思います. もし間違えがあればご指摘をお願いしいます. TensorRTとは TensorRTはTensorFlowやPyTorchを用いいて学習したモデルを最適化をし,高速にインファレンスをすることを可能にすることができます.結果的にリアルタイムで動くアプリケーションに組み込むことでスループットの向上を狙うことができます. 実際にTesla V100とTensorFlowを使った場合,秒間305枚をインファレンスできるのに対して,Tesla V100とTensorRTは秒間5707枚をインファレンス