Ardupilot开源无人机之Geek SDK进展202501
- 1. 源由
- 2. 状态
- 3. TODO
- 3.1 跟踪目标框
- 3.2 onnxruntime版本
- 3.3 CUDA 11.8版本
- 3.4 pytorch v2.5.1版本
- 3.5 Inference性能
- 3.6 特定目标集Training
- 4. 参考资料
1. 源由
前期搭建《Ardupilot开源无人机之Geek SDK》，主要目的是：
- 基于：《ArduPilot开源飞控系统 - 无人车、船、飞机等》
- 验证：《Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考》可行性
- 框架：打通硬实时、软实时的控制面和数据面链路,提供一个简单、多样、高效的验证平台 jetson-fpv
2. 状态
-
简单示例
-
框架成型：jetson-fpv
-
支持特性：
-
FPV features （FPV功能）
- MSPOSD for ground station （OSD）
- video-viewer （视频图像，可以达到120FPS）
- Adaptive wireless link （链路自适应）
-
Jetson video analysis （Jetson推理功能）
- detectnet for object detection
- segnet for segmentation
- posenet for pose estimation
- imagenet for image recognition
-
yolo for object detection （YOLO目标检测）
-
Real time video stabilizer
-
DeepStream analysis （DeepStream目标跟踪分析）
- ByteTrack
- NvDCF tracker
-
-
硬件形态
3. TODO
优先级：
3.2 onnxruntime版本 > 3.1 跟踪目标框 > 3.5 Inference性能 > 3.6 特定目标集Training > 3.3 CUDA 11.8版本 > 3.4 pytorch v2.5.1版本
3.1 跟踪目标框
- DeepStream-Yolo - How to keep the bounding boxes when interval is NOT zero? #604
- NVIDIA - How to keep the bounding boxes when interval is NOT zero?
3.2 onnxruntime版本
- Yolov8s no bounding box on default settings #597
- NVIDIA - Build onnxruntime v1.19.2 for Jetpack 5.1.4 L4T 35.6 Faild
- microsoft/onnxruntime - Build onnxruntime v1.19.2 for Jetpack 5.1.4 L4T 35.6 Faild #23267
- [Build] Trying to build on a embedded device that doesn’t support BFLOAT16 #19920
- mlas: fix build on ARM64 #21099
- arm64: force -mcpu to be valid #21117
- [Build] v1.19.2 abseil_cpp failed: 2 with JP5.1.4 gcc/g++13 #23286
3.3 CUDA 11.8版本
- How to install CUDA 11.8 on Jetpack 5.1.4 L4T 35.6?
- Linux 35.5 + JetPack v5.1.3@CUDA安装和版本切换
3.4 pytorch v2.5.1版本
- pytorch v2.5.1 build for nvidia jetson orin nano 8GB #143624
- Linux 35.6 + JetPack v5.1.4之 pytorch编译
- Linux 35.6 + JetPack v5.1.4之 pytorch升级
3.5 Inference性能
- DeepStream-Yolo - Anyway to boost yolo performance on Jetson Orin? #605
- NVIDIA - Anyway to boost yolo performance on Jetson Orin?
A: DeepStream-Yolo - INT8 calibration (PTQ)
B: NVIDIA - NvDCF tracker plugin
3.6 特定目标集Training
TBD.
4. 参考资料
【1】Ardupilot & OpenIPC & 基于WFB-NG构架分析和数据链路思考
【2】ArduPilot开源飞控之MAVProxy深入研读系列 - 2蜂群链路
【3】Ardupilot开源飞控之FollowMe计划
【4】Ardupilot开源飞控之FollowMe验证平台搭建
【5】Ardupilot开源无人机之Geek SDK讨论
【6】OpenIPC开源FPV之工程框架
【7】OpenIPC开源FPV之重要源码启动配置
【8】wfb-ng 开源代码之Jetson Orin安装
【9】wfb-ng 开源代码之Jetson Orin问题定位
【10】Linux 35.5 + JetPack v5.1.3@CUDA安装和版本切换
【11】Linux 35.6 + JetPack v5.1.4@yolo安装
【12】Linux 35.6 + JetPack v5.1.4@python opencv安装
【13】Linux 35.6 + JetPack v5.1.4@DeepStream安装
【14】Linux 35.6 + JetPack v5.1.4之RTP实时视频Python框架
【15】Linux 35.6 + JetPack v5.1.4之 pytorch编译
【16】Linux 35.6 + JetPack v5.1.4之 pytorch升级
【17】OpenIPC开源FPV之Adaptive-Link工程解析
【18】NVIDIA DeepStream插件之Gst-nvtracker
