一.环境配置
1.cuda/cudnn安装:
安装cuda之前首先安装vs,vs版本从低到高安装。
a) 安装cuda:首先查看显卡支持的最高CUDA的版本,以便下载对应的CUDA安装包;
cmd命令行:nvidia-smi,显示如下:最高版本为12.2,
在NVIDIA官方网站即可下载,地址为:https://developer.nvidia.com/cuda-toolkit-archive
无坑,双击exe选择安装目录即可,C盘有空间尽量C盘安装;安装完成使用nvcc -V确认安装成功
b) cudnn:cudnn版本选择对应支持的较高版本即可;下载地址:cuDNN Archive | NVIDIA Developer
c)多版本cuda:按照ab下载对应版本,安装cuda时只选择安装CUDA组件即可,之后在环境变变量path中将优先使用的cuda放置到最前面;
2.Pytorch,torchvision安装
使用conda创建虚拟环境,conda create -n py39 ,激活环境,activate py39
之后根据自己的环境进行安装,不要瞎搜索,根据官网的命令,地址:
https://pytorch.org/get-started/previous-versions/
选择符合自己环境的,比如1.10,按照如下命令即可。
3. TensorRT安装:
1)安装很简单,下载解压即可;下载地址:https://developer.nvidia.com/tensorrt/download
根据自己的环境进行选择,比如我选择TensorRT8.6 ,GA是稳定版本,
2)VS2019配置
此处对sampleMNIST示例进行测试,进入到D:\tensorrt_tar\TensorRT-xxxx\samples\sampleMNIST目录下,选择sample_mnist.sln文件—>右键点击打开方式—>选择Microsoft Visual Studio 2019打开文件
然后依次点击 项目—>属性—>VC++目录
将路径D:\tensorrt_tar\TensorRT-xxx\lib分别加入可执行文件目录及库目录里
将D:\tensorrt_tar\TensorRT-xxxx\include加入C/C++ —> 常规 —> 附加包含目录
将D:\tensorrt_tar\TensorRT-xxx\lib\*.lib加入链接器–>输入–>附加依赖项
有说将lib、include拷贝到cuda文件夹中,个人建议,直接配置即可;
3)进行测试
在VS2019中,将sample_mnist项目选中右键执行生成,直接运行出现以下内容表示成功运行;
二.基础知识
1.Onnx、onnxTime、wts和TensorRT
onnx和onnxTime的关系:训练模型时有不同框架,Pytroch,TensorFlow等,这样不同的框架就导致产生不同的模型结果包,在模型进行部署推理时就需要不同的依赖库,而且同一个框架不同版本之间的差异较大。为了解决这个混乱问题,LFAI联合Facebook,MicroSoft等公司指定了机器学习模型的标准,这个标准叫做Onnx,Open Neural Network Exchange,所有其他框架产生的模型包都可以转换成这个标准格式,转换成个标准格式后就可以统一使用onnx Runtime等工具进行部署,简言之,onnx用于转换格式,onnx runtime用于部署。