NVIDIA Ampere アーキテクチャと TensorRT を使用してスパース性で推論を高速化するReading Time: 2 minutes この投稿は、NVIDIA TensorRT 8.0 のアップデートを反映するために 2021 年 7 月 20 日に更新されました。 ニューラル ネットワークをデプロイするときは、ネットワークの実行速度の高速化や空間の低減方法を考えると良いです。より効率的なネットワークは、限られた時間の中でより良い予測を行い、予想外の入力に対してより迅速に反応し、制約のあるデプロイメント環境に適合できます。 スパース性はこれらの目的を達成することを約束する最適化手法の 1 つです。ネットワークにゼロがある場合は、それに対して保存や操作をする必要はありません。スパース性のメリットは簡単なことのように思われます。スパース性の効果を実現するには以前から 3 つの課題がありました。 高速化 — 細粒度の構造化されていない重みのスパース性は構造に欠け、効率的なハードウ
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
