1. 根据显卡版本拉取官网镜像

官网镜像地址

docker pull nvidia/cuda:11.4.0-cudnn8-devel-ubuntu20.04

2. 运行镜像/创建容器

docker run -it --name lhb_trt --gpus all -v /home/data/hablee_data_dir/trt_02:/home/trt_02 nvidia/cuda:11.4.0-cudnn8-devel-ubuntu20.04 /bin/bash

说明：

1. –name trt_test02: 容器取名字叫trt_test02
2. -v /home/data/hablee_data_dir/trt_02:/home/trt_02: 冒号前面的是本地路径(提前创建好)，后面是映射的docker内的路径。以后本地路径和docker内部路径的内容都会随着对方的更改而更改(最好是以在本地修改为主，docker的命令行修改或创建的内容可能在外部没有权限访问)。
3. nvidia/cuda:11.4.0-cudnn8-devel-ubuntu20.04: 拉取的镜像名称。
4. /bin/bash: 以命令行方式进入docker

3. 下载tensorRT包

官网地址：点击查看，根据自己的cuda和cudnn的版本选择对应的版本。然后解压到自己想放到的位置。

3.1 安装tensorRT

3.1.1 对于linux：

1. 首先使用命令：vim ~/.bashrc，打开文件
2. 然后在文件的最后编辑：export LD_LIBRARY_PATH=解压的tenosrrt的路径/lib:$LD_LIBRARY_PATH
例如我的是：export LD_LIBRARY_PATH=/home/trt_02/download/TensorRT-8.2.4.2/lib:$LD_LIBRARY_PATH
然后编辑：export LIBRARY_PATH=解压的tenosrrt的路径/lib::$LIBRARY_PATH
然后编辑：export PATH=/home/trt_02/download/TensorRT-8.2.4.2/bin:$PATH
3. 保存退出
4. 使用名：source ~/.bashrc   用于更新环境变量

3.1.2 对于windows

只要把解压后的lib文件夹和bin文件夹添加到环境变量里面就可以了。(这个对windows用户应该轻车熟路吧hhh)，为了使其生效，应该需要重启电脑。

3.2 安装tensorRT的python包

进入到解压后的tensorRT的python文件夹，例如/home/trt_02/download/TensorRT-8.2.4.2/python，根据自己python版本，选择对应的包进行安装。例如我的python是3.9，所以python -m pip install tensorrt-8.2.4.2-cp39-none-linux_x86_64.whl

3.3 测试

3.3.1 测试onnx转tensorrt模型

trtexec --onnx=mymodel.onnx --saveEngine=mymodel.engine --fp16 --device=1

将一个mymodel.onnx模型转为tensorrt模型，并命名为mymodel.engine，使用float16的精度，指定gpu编号为1进行运行。

3.3.2 测试python的tensorrt

import tensorrt
print(tensorrt.__version__)