引言
在自动驾驶领域，多传感器融合技术是一种常见的方法，用于提高感知系统的准确性和鲁棒性。其中，BevFusion是一种流行的融合方法，可以将来自不同传感器的数据进行融合，生成具有丰富信息的鸟瞰图（BEV）表示。在本文中，我们将介绍如何使用OpenPCdet框架训练和测试多传感器融合BevFusion
环境搭建与数据准备
-
安装OpenPCDet: 确标Python环境，确保安装PyTorch及OpenPCDet。克隆仓库后，执行依赖安装。
参考：安装、测试和训练OpenPCDet：一篇详尽的指南
-
nuScenes数据集: 从官方网站下载数据集，包含LiDAR、相机图像、雷达等多模态数据，为训练和评估准备。存放到相应的路径。
参考：nuscenes生成数据信息info
模型训练
#单个GPU
python train.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
#多GPU
sh scripts/dist_train.sh 3 --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
模型测试
python test.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml --batch_size 4 --ckpt ../checkpoints_office/cbgs_bevfusion.pthmAP: 0.5754
mATE: 0.3975
mASE: 0.4431
mAOE: 0.4555
mAVE: 0.4208
mAAE: 0.3252
NDS: 0.5835
Eval time: 2.6s
Per-class results:
Object Class AP ATE ASE AOE AVE AAE
car 0.920 0.165 0.157 0.090 0.112 0.068
truck 0.778 0.144 0.149 0.017 0.104 0.011
bus 0.995 0.152 0.069 0.028 0.540 0.395
trailer 0.000 1.000 1.000 1.000 1.000 1.000
construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000
pedestrian 0.931 0.120 0.252 0.298 0.204 0.126
motorcycle 0.690 0.185 0.256 0.342 0.051 0.000
bicycle 0.535 0.153 0.197 0.324 0.355 0.000
traffic_cone 0.906 0.055 0.351 nan nan nan
barrier 0.000 1.000 1.000 1.000 nan nan
2024-06-07 17:03:17,225 INFO ----------------Nuscene detection_cvpr_2019 results-----------------
***car error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.17, 0.16, 0.09, 0.11, 0.07 | 85.35, 92.91, 94.20, 95.42 | mean AP: 0.9197057440961336
***truck error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.14, 0.15, 0.02, 0.10, 0.01 | 75.16, 78.18, 78.18, 79.76 | mean AP: 0.7781960247370747
***construction_vehicle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***bus error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.07, 0.03, 0.54, 0.40 | 99.53, 99.53, 99.53, 99.53 | mean AP: 0.9953412532028887
***trailer error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***barrier error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, nan, nan | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***motorcycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.18, 0.26, 0.34, 0.05, 0.00 | 64.87, 68.47, 70.18, 72.33 | mean AP: 0.6896328768856833
***bicycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.20, 0.32, 0.36, 0.00 | 52.81, 52.81, 52.81, 55.62 | mean AP: 0.5350891766510515
***pedestrian error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.12, 0.25, 0.30, 0.20, 0.13 | 91.38, 92.03, 93.15, 95.71 | mean AP: 0.9306973397899039
***traffic_cone error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.06, 0.35, nan, nan, nan | 90.58, 90.58, 90.58, 90.58 | mean AP: 0.9057559715637864
--------------average performance-------------
trans_err: 0.3975
scale_err: 0.4431
orient_err: 0.4555
vel_err: 0.4208
attr_err: 0.3252
mAP: 0.5754
NDS: 0.5835代码结构
OpenPCDet 的代码结构清晰，主要由以下几个部分组成：
OpenPCDet
├── cfgs # 配置文件目录
├── data # 数据处理和加载相关代码
├── pcdet # 核心库代码
│ ├── datasets # 数据集相关代码
│ ├── models # 模型相关代码
│ ├── ops # 常用操作实现（如 3D 点云操作）
│ ├── utils # 工具函数和类
├── tools # 训练、测试、评估和可视化的脚本
├── scripts # 辅助脚本（如多 GPU 训练脚本）
├── README.md # 项目简介和使用说明具体组成如何：
cfgs
cfgs目录包含各种模型和数据集的配置文件。这些配置文件定义了模型架构、训练参数、数据处理流程等。配置文件通常采用 YAML 格式，便于阅读和修改。
data
data 目录包含数据处理和加载相关代码。主要包括数据集的转换脚本和数据加载器。不同的数据集（如 KITTI、nuScenes）通常有对应的转换脚本，用于将原始数据转换为 OpenPCDet 可用的格式。
pcdet
pcdet 是核心库目录，包含以下子目录：
datasets
datasets 目录包含各种数据集的实现，包括数据加载、预处理和增强等。每个数据集通常有对应的类来处理数据集特有的格式和要求。
- data_processor： 包含数据预处理模块，例如点云特征提取、数据增强、数据格式转换等。
- dataset： 包含数据集类，负责加载和预处理数据集，并生成训练和评估所需的数据批。
- utils： 包含一些数据集相关的工具函数，例如数据集划分、数据集统计等。
model
models 目录包含各种 3D 目标检测模型的实现。每个模型通常由多个模块组成，如 backbone（骨干网络）、neck（中间层）、head（检测头）等。这些模块可以根据需要进行组合和配置。
- backbone： 包含骨干网络模块，例如 PointNet、PointNet++、VoxelNet 等，负责提取点云特征。
- head： 包含头部网络模块，例如 SECOND Head、PointPillar Head 等，负责预测目标框、类别和朝向角等。
- post_processing： 包含后处理模块，例如 NMS (非极大值抑制) 等，用于筛选和合并目标框。
- utils： 包含一些模型相关的工具函数，例如损失函数计算、指标计算等。
tools
- train： 包含模型训练工具，例如训练脚本、训练器类等，负责模型训练流程控制。
- test： 包含模型评估工具，例如评估脚本、评估器类等，负责模型评估流程控制。
- visualize： 包含模型可视化工具，例如可视化脚本、可视化器类等，负责模型可视化展示。
- scripts： 包含一些常用的脚本文件，例如数据集划分脚本、模型训练脚本等。
scripts
- dataset_converters： 包含数据集转换脚本，例如将原始数据集转换为 OpenPCDet 支持的格式。
- data_split： 包含数据集划分脚本，例如将数据集划分为训练集、验证集和测试集。
- train： 包含模型训练脚本，例如启动训练流程、保存训练模型等。
- test： 包含模型评估脚本，例如启动评估流程、生成评估结果等。
总结
OpenPCDet 的代码结构清晰且模块化，每个部分都承担着不同的功能，协同工作完成 3D 目标检测任务。了解 OpenPCDet 的代码结构有助于更好地理解其工作原理和进行二次开发。
关注我的公众号auto_drive_ai（Ai fighting）, 第一时间获取更新内容。
