見てわかる通り、GPUありにすると明らかに速くなっています。NanoやTinyは動画の読み込みがボトルネックになって、速度がサチっているので、参考程度です。 CPUの場合は、Flopsと反比例した速度になっていますが、GPUの場合は線形な関係になっていないのが面白かったです。GPUありのYOLOX-Xは20fpsぐらい出ているのが驚き。 このようにすればDocker上でも、GPUありのONNXを使えることがわかりました。ONNXなら環境を統一できますし、いろいろ便利そうですね。 コード main.py import argparse import onnxruntime as ort import cv2 import time import numpy as np from tqdm import tqdm from yolox_utils import preproc, multicl
![DockerでGPU版ONNXを使ってみる | Shikoan's ML Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/fd69ea8d31675edab6e372cd82e8f2f67bf30409/height=288;version=1;width=512/https%3A%2F%2Fblog.shikoan.com%2Fwp-content%2Fuploads%2F2022%2F12%2Fgpu_onnx.jpg)