config.pbtxt 配置参数手册
backend或platform参数用于指示nvidia triton用对应的backend加载模型参数,它的使用示例如下:
name: "xxx"
platform: "pytorch_libtorch"
max_batch_size: 8
input [
{
name: "input0"
data_type: TYPE_UINT8
dims: [ -1 ]
},
...
所有的backend参数可见于 Triton Inference Server教程2
使用–gpus命令失败
需要安装依赖,参考离线安装nvidia-container-toolkit