TensorRTの演算精度・バージョンのメモ - OPTiM TECH BLOG
TensorRT 歴３年となった R&D チームの奥村（@izariuo440）です。今回は、2021/04/12 に発表された Ampere 世代の各種 GPU に対して TensorRT でその性能を十分に引き出すために必要な知識をまとめておきます。FP16/INT8 をうまく使うと、推論速度が２〜４倍になったりするのでおすすめです。 演算精度 演算精度 FP16/INT8 をサポートしている GPU FP16 の威力 INT8 の威力 TensorRT のバージョン 互換性 さいごに 演算精度 NVIDIA TensorRT は、NVIDIA GPU 上で深層学習モデルを高速に推論するためのプラットフォームです。TensorRT を使うモチベーションについては以下をご覧ください。 TensorRT で物体検出・姿勢推定はどれくらい速くなる？ - OPTiM TECH BLOG Ten
ONNX 2020 - OPTiM TECH BLOG
R&D チームの奥村（@izariuo440）です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連ソフトウェアも成熟が進んでいるので、備忘録として私がお世話になっているものをかいつまんで紹介します。 OPTiM TECH BLOG Advent Calendar 2020 12/18 の記事です。 ONNX や ONNX Runtime は二年前の記事で少し解説しています。必要に応じてご参照ください。 tech-blog.optim.co.jp ONNX チュートリアル ONNX Model Zoo オプティマイザ その他 ONNX 関連のソフトウェア ONNX Runtime onnx-tensorrt
Microsoft の #ONNX Runtime を速攻レビュー - OPTiM TECH BLOG
はじめに オプティムの奥村です。Microsoft が 2018/12/04 に ONNX Runtime を MIT ライセンスでオープンソースとして公開しました。 azure.microsoft.com ONNX Runtime は 2018/10/16 に Preview として公開されて気になっていましたが、コードが公開されたのでざっと目を通してみて、ONNX Model Zoo に登録されている物体検出モデルの Tiny YOLOv2 を動かしてみました。 ONNX Runtime を大雑把にいうと以下のようになると思います。 Menoh、 onnx-tensorrt のような ONNX の推論エンジンのひとつ CUDA・MKL-DNN の計算支援を受けた高速な推論が可能で、nGraph や TensorRT に対応予定 Linux/Mac/Windows で動作 CPU は A
TensorRT で物体検出・姿勢推定はどれくらい速くなる？ - OPTiM TECH BLOG
今回は、TensorRT で物体検出・姿勢推定はどれくらい速くなるのかを紹介します。せっかちな人のために、TensorRT による効果を先にかいつまんで書いておきます。 RefineDet という物体検出モデルでは 38 fps が 68 fps に向上 (x1.8 Faster!) OpenPose という複数人物姿勢推定モデルでは 10 fps が 25 fps に向上 (x2.5 Faster!) ベンチマークは NVIDIA GeForce GTX 1080 Ti で実施 なぜ TensorRT を使うのか、という導入が長いですが、興味があればどうぞ。 自己紹介 最近やっていること 背景 深層学習モデルの推論とその課題 ハードウェアの動向 ソフトウェアの動向 TensorRT 物体検出・姿勢推定をベンチマーク RefineDet のベンチマーク結果 OpenPose のベンチマーク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
