docker run --gpus all -it --rm -p 8887:8887 --name tensorrt nvcr.io/nvidia/pytorch:22.07-py3 下記コードを参考に実行します。 https://github.com/pytorch/TensorRT/blob/master/notebooks/Hugging-Face-BERT.ipynb Docker内にすでにコードがあるので、そのコードを使用します。 Jupyter-labを起動してコードにアクセスします。
![Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化 | ゆるいDeep Learning](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3ee1367df45f8414a9165cb8661867cd28f3c27/height=288;version=1;width=512/https%3A%2F%2Fwww.yurui-deep-learning.com%2Fwp-content%2Fuploads%2F2022%2F08%2Fimage-1.png)