TensorRT Provider 的优势为:
TensorRT EP 可以实现与本机 TensorRT 的性能等价。使用 TensorRT EP 的好处之一是,如果模型中存在不受支持的 TensorRT 操作,就可以运行不能在本机 TensorRT 中运行的模型。这些操作将自动退回到其他 EP,如 OnnxRuntime 中的 CUDA 或 CPU。
使用ORT(OnnxRuntime)的Provider可以实现不支持的算子的灵活处理,TensorRT中没有的算子自动在ORT中实现。
例如:superpoint+lightglue模型的加速部署使用如果使用trtexec转换模型的时候出现:算子(Operator,简称Op)不支持的情况
这种情况下要是采用TensorRT Provider 进行处理的话的优势就在于MultiHeadAttention在运行时候TensorRT Native中不能使用,但是TensorRT 可以运行时候MultiHeadAttention算子转到ORT中运行或者CUDA中运行,算是一种灵活的解决方案