SPEED SAM C++ TENSORRT

🌐 1、概述

用于SAM（segment anything model分割一切模型）的TensorRT和CUDA优化的高表现C++实现，特别适用于实时图像分割任务。

📢 更新

• 模型转换：从ONNX模型构建TensorRT引擎以加速推理。
• 点和边界框分割：通过选定的点或边界框轻松分割图像。
• FP16精度：在速度与精度之间进行选择，支持FP16和FP32。
• 动态形状支持：利用优化配置文件高效处理可变输入大小。
• CUDA优化：利用CUDA进行预处理和有效的内存管理。

📢2、性能

2.1 推理时间

组件	SpeedSAM
图像编码器
参数	5M
速度	8ms
掩码解码器
参数	3.876M
速度	4ms
完整流程（编码+解码）
参数	9.66M
速度	12ms

2.2 结果

📂 3、项目结构

SPEED-SAM-CPP-TENSORRT/
├── include
│   ├── config.h          # 模型配置和宏定义
│   ├── cuda_utils.h      # CUDA工具宏
│   ├── engineTRT.h       # TensorRT引擎管理
│   ├── logging.h         # 日志实用工具
│   ├── macros.h          # API导出/导入宏
│   ├── speedSam.h        # SpeedSam类定义
│   └── utils.h           # 图像处理实用函数
├── src
│   ├── engineTRT.cpp     # TensorRT引擎实现
│   ├── main.cpp          # 主入口点
│   └── speedSam.cpp      # SpeedSam类实现
└── CMakeLists.txt        # CMake配置

🚀 4、编译运行

准备工作

git clone https://github.com/hamdiboukamcha/SPEED-SAM-C-TENSORRT.git
cd SPEED-SAM-CPP-TENSORRT

# 创建构建目录并编译
mkdir build && cd build
cmake ..
make -j$(nproc)

注意：根据需要更新CMakeLists.txt中的TensorRT和OpenCV正确路径。

📦 依赖项

• CUDA：NVIDIA的并行计算平台
• TensorRT：高性能深度学习推理
• OpenCV：图像处理库
• C++17：编译所需的最低标准

🔍 代码概览

主要组件

• SpeedSam 类 (speedSam.h)：管理图像编码和掩码解码。
• EngineTRT 类 (engineTRT.h)：TensorRT引擎创建和推理。
• CUDA 工具 (cuda_utils.h)：CUDA错误处理宏。
• 配置 (config.h)：定义模型参数和精度设置。

关键函数

• EngineTRT::build：从ONNX模型构建TensorRT引擎。
• EngineTRT::infer：对提供的输入数据运行推理。
• SpeedSam::predict：使用输入点或边界框分割图像。