Win10安装Tensorrt和torch2trt
- 1 前言
- 1.1 实验环境
- 1.2 下载链接
- 2 具体安装
- 2.1 TensorRT安装
- 2.1.1 设置环境变量
- 2.1.2 安装TensorRT资源包中的3个whl文件
- 2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹
- 2.2 安装torch2trt
- 2.3 验证是否安装成功
1 前言
1.1 实验环境
（1）主机系统：Win10
（2）显卡： Quadro RTX 6000
（3）CUDA版本：V11.7.64
（4）Python：3.8.18
（5）TensorRT：8.6.1.6
1.2 下载链接
（1）TensorRT8.6.1.6下载链接（下载资源包）: https://developer.nvidia.com/tensorrt
（2）pycuda下载链接（(pip 离线安装）：https://pypi.org/project/pycuda/2022.1/#history
也可在线下载：pip install pycuda；用于从 Python 访问Nvidia的CUDA并行计算 API。
（3）torch2trt下载链接（(pip 离线安装）：https://github.com/NVIDIA-AI-IOT/torch2trt
（4）在线安装onnx和cython: pip install onnx cython
2 具体安装
2.1 TensorRT安装
2.1.1 设置环境变量
1、 解压下载的资源包，并将TensorRT对应的lib位置添加至系统环境变量。
2.1.2 安装TensorRT资源包中的3个whl文件
如上图所示，分别在graphsurgeon、python、uff在3个文件夹中找到对应的以下3个whl文件，并使用pip install 进行安装。
pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install tensorrt-8.6.1-cp38-none-win_amd64.whl
pip install uff-0.6.9-py2.py3-none-any.whl
2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹
（1）将 TensorRT-8.6.1.6\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include
（2）将TensorRT-8.6.1.6\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\lib\x64
（3）将TensorRT-8.6.1.6\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin
2.2 安装torch2trt
git clone https://github.com/NVIDIA-AI-IOT/torch2trt.git
cd torch2trt
python setup.py install
2.3 验证是否安装成功
不报错即表示安装成功！
