NVIDIA Triton Inference Server で推論してみた - Qiita

はじめに こんにちは。 @dcm_yamaya です。 ことしハマったキーボードは HHKB Professional HYBRID (not type-s) です。 この記事は、NTTドコモ R&D Advent Calendar 2020 7日目の記事です。 普段の業務では、画像認識やエッジコンピューティングの技術領域を担当しています。 昨年の記事 ではJetson上で画像認識モデルをTensorRT化する方法を紹介しました。 ことしはTensorRTに関連して興味があった、GTC2020で発表された NVIDIA Triton Inference Server を使って画像認識モデルの推論を試したいと思います。 「あれ、このフレームワーク前もなかったっけ？TensorRT Inference Server じゃなかったっけ？」 と思ったら、名前が変わっていました。 https://t