香橙派AIpro测评：yolo8+usb鱼眼摄像头的Camera图像获取及识别

一、前言

近期收到了一块受到业界人士关注的开发板"香橙派AIpro",因为这块板子具有极高的性价比，同时还可以兼容ubuntu、安卓等多种操作系统，今天博主便要在一块8+32g的香橙派AI香橙派AIpro进行YoloV8s算法的部署并使用一个外接的鱼眼USB摄像头来作目标检测与识别。经过博主的整体测试，这块开发板可以用来作为边缘计算平台，承担大众化场景的目标检测任务。随着人工智能技术的不断发展，目标检测作为计算机视觉领域的一个重要任务，已经得到了广泛的研究和应用。

二、香橙派AIpro介绍

2.1香橙派简介

作为业界首款基于昇腾深度研发的AI开发板，Orange Pi AIpro无论在外观上、性能上还是技术服务支持上都非常优秀。采用昇腾AI技术路线，集成图形处理器，拥有8GB/16GB LPDDR4X，可以外接32GB/64GB/128GB/256GB eMMC模块，支持双4K高清输出，8/20 TOPS AI算力。配套了MindStudio全流程开发工具链，并提供一键镜像烧录工具和模型适配工具实现极简开发，让开发者快速上手使用，支持算法模型的快速适配。
可广泛适用于AI教学实训、AI算法验证、智能小车、机械臂、边缘计算、无人机、人工智能、云计算、AR/VR、智能安防、智能家居、智能交通等领域。Orange Pi AIpro支持Ubuntu、openEuler操作系统，满足大多数AI算法原型验证、推理应用开发的需求。

2.2香橙派硬件及接口介绍

在这里插入图片描述

香橙派AIpro丰富的接口赋予了Orange Pi AIpro强大的可拓展性。包括两个HDMI输出、GPIO接口、Type-C电源接口、支持SATA/NVMe SSD 2280的M.2插槽、TF插槽、千兆网口、两个USB3.0、一个USB Type-C 3.0、一个Micro USB、两个MIPI摄像头、一个MIPI屏等，预留电池接口。
在操作系统方面，Orange Pi AIpro支持Ubuntu、openEuler操作系统，满足大多数AI算法原型验证、推理应用开发的需求，可广泛适用于AI边缘计算、深度视觉学习及视频流AI分析、视频图像分析、自然语言处理、智能小车、机械臂、人工智能、无人机、云计算、AR/VR、智能安防、智能家居等领域，覆盖 AIoT各个行业。

三、实际场景应用体验

3.1所用硬件及技术介绍

3.1.1Yolo V8介绍

YOLOv8是YOLO系列算法的最新版本，其在保持高效、准确的同时，还进一步优化了算法结构，提高了运行速度。YOLOv8采用了全新的网络结构和损失函数，使得模型在训练过程中更加稳定，同时也提高了模型的泛化能力。
YOLOv8采用了端到端的训练方式，将目标检测视为一个回归问题，直接预测物体的位置和类别。在模型结构上，YOLOv8采用了CSPDarknet53作为骨干网络，通过增加残差连接和特征融合，提高了模型的特征提取能力。在损失函数方面，YOLOv8采用了CIoU损失函数，同时考虑了预测框与真实框的重叠面积、中心点距离以及长宽比等因素，使得模型在训练过程中更加关注于提高预测框的准确性。

3.1.2鱼眼镜头介绍

鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。它是一种极端的广角镜头，“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。
鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。因此，鱼眼镜头与人们眼中的真实世界的景象存在很大的差别，因为我们在实际生活中看见的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。
鱼眼镜头具有超大视场，因而被广泛应用于场景监视、卫星定位、机器人导航、微小智能系统及工程测量等领域。由于鱼眼镜头能够实现全空域包容和全时域实时信息的获取，特别是符合现代战争对信息获取技术的需求，这是其他光电侦测手段所不能比的，因此鱼眼镜头在国防和军事领域也得到了重要应用。

3.2鱼眼镜头图像获取

3.2.1流程介绍

通过USB接口连接鱼眼镜头与香橙派AIpro，从鱼眼镜头获取图像、并处理为YUV图像。

3.2.2相关驱动安装

首先通过下面的链接下载相关源码：

Ascend/EdgeAndRobotics - Gitee.com

下载完成后进行解压，并进入到样例目录

在这里插入图片描述

3.2.3安装FFmpeg

sudo apt-get install ffmpeg libavcodec-dev libswscale-dev libavdevice-dev

运行结果：

在这里插入图片描述

3.2.4安装OpenCV

sudo apt-get install libopencv-dev

运行结果：

在这里插入图片描述

3.2.5编译样例源码

执行编译命令

g++ main.cpp -o main -lavutil -lavformat -lavcodec -lavdevice

编译命令执行成功后，在USBCamera样例目录下生成可执行文件main。
运行结果：

在这里插入图片描述

3.2.6运行样例，从Camera获取图像

运行可执行文件，其中/dev/video0表示Camera设备，需根据实际情况填写：
./main /dev/video0

运行成功后，在USBCamera样例目录下生成yuyv422格式、1280*720分辨率的out.yuv文件。

运行结果：

在这里插入图片描述

注意：当把一个摄像头插入开发板后，执行ls /dev/vi*命令可看到摄像头的vedio节点。这里出现了两个设备节点：/dev/video0、/dev/video1，是因为一个是图像/视频采集，一个是metadata采集，因此本样例中在运行可执行文件时，选择图像/视频采集的设备节点/dev/video0。

3.2.7检查从Camera获取的图像

执行如下命令，使用FFmpeg软件查看图像：

ffplay -pix_fmt yuyv422 -video_size 1280*720 out.yuv

运行结果：

在这里插入图片描述

3.3YoloV8s算法部署

在使用YOLOv8之前，需要先安装相关的依赖库，包括Python、PyTorch等。同时，为了方便使用YOLOv8，我们还可以选择安装一些辅助工具，如COCO数据集、预训练模型等。

3.3.1环境准备

博主选择的是torch 2.2和torchvision 0.17安装如下：

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install torch==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torchvision==0.17.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

3.3.2安装yolo v8

pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple

3.3.3编写实时目标检测程序

import cv2

from ultralytics import YOLO
from cv2 import getTickCount, getTickFrequency

加载 YOLOv8 模型

model = YOLO("weights/yolov8s.pt")

获取摄像头内容，参数 0 表示使用默认的摄像头

cap = cv2.VideoCapture(1)

while cap.isOpened():
    loop_start = getTickCount()
    success, frame = cap.read()  # 读取摄像头的一帧图像

    if success:
        results = model.predict(source=frame) # 对当前帧进行目标检测并显示结果
    annotated_frame = results[0].plot()

    # 中间放自己的显示程序
    loop_time = getTickCount() - loop_start
    total_time = loop_time / (getTickFrequency())
    #FPS = int(1 / total_time)
    # 在图像左上角添加FPS文本
    #fps_text = f"FPS: {FPS:.2f}"
    #font = cv2.FONT_HERSHEY_SIMPLEX
    #font_scale = 1
    #font_thickness = 2
    #text_color = (0, 0, 255)  # 红色
    #text_position = (10, 30)  # 左上角位置

    #cv2.putText(annotated_frame, fps_text, text_position, font, font_scale, text_color, font_thickness)
    cv2.imshow('img', annotated_frame)
    # 通过按下 'q' 键退出循环
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()  # 释放摄像头资源
cv2.destroyAllWindows()  # 关闭OpenCV窗口

3.3.4最终识别结果

在这里插入图片描述

四、结语

作为一名机器视觉工程师，本次我使用香橙派AIpro来部署了yolo V8s的目标检测与识别算法，同时使用适合机器人使用的鱼眼摄像头进行真实图像获取，并将实时获取的图像传递给yoloV8算法进行图像中目标的检测与识别。经过测试香橙派AIpro可以实时使用yoloV8算法进行目标识别与检测，并且识别的准确率还是较高的。
经过博主的整体测试，香橙派AIpro的计算能力完全可以可以用来作为边缘计算平台来承担大众化场景的目标检测任务。相信这款高性价比的开发板会为人们快速验证部署自己的人工智能算法提供性价比高、提高开发效率的完美方案。后续博主也会通过自己制作数据集打标签的方式，在香橙派AIpro上来尝试训练一下模型。