东哥教你如何用Orange Ai pro为家里做一个垃圾分类检测机器

前言

最近入手了一块香橙派（Orange Ai Pro）的板子，他们的口号是：为AI而生，这让一个算法工程师按捺不住了，之前主要是在RKNN和ESP32等设备上部署AI模型，看到官方介绍的强大AI算力，很想知道能否满足工作生活中的实时视频流模型部署，也为未来公司的战略部署多做一份准备。

AIpro是一款采用昇腾AI技术路线的强大开发板，配备4核64位处理器， 8GB的LPDDR4X内存，就足以满足大部分的AI推理应用场景，AI Pro 配备8TOPS-12TOPS的AI算力，相当于英伟达的RTX3080显卡，同时很多车企早期L2级自动驾驶的算力需求也才2-2.5TOPS,所以在AI 算力方面完全是充足的。

同时开发板支持外接eMMC模块，从32GB到256GB，充足的存储空间能够满足日常开发所需。

AI Pro还支持外接4K的高清显示器，能够利用HDMI帮我们更好的可视化操作，大大提升了开发体验，只需要自带一个小的显示屏，便可以做一台便携mini电脑。

更多的开发板信息可以参考下面的这个硬件配置图

准备

一块Orange Ai Pro
相关的硬件资料可参考：Orange Ai Pro 介绍和应用
购买地址：淘宝、京东
一个USB 摄像头
主要用于实时检测素材
外接鼠标、键盘
显示器
用于可视化操作Orange Ai Pro

镜像烧录

需要下载官方的烧录工具，将镜像烧录到存储卡内，官方镜像地址：下载地址

开机登录

接好设备后，就可以点击开机按钮，我这边的设备主要是1个摄像头，1块32G的存储卡，系统这边用的是Ubuntu系统，比较适合个人的习惯

环境准备

配置编译依赖的头文件与库文件路径

export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest 
export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub

安装ACLLite库和ffmpeg

Tips: ACLLite是必备的库文件

apt-get install ffmpeg libavcodec-dev libswscale-dev libavdevice-dev

获取ACLLite 源码

git clone https://gitee.com/ascend/ACLLite.git

进入到项目目录进行编译, 会编译到上面设置的lib 目录

bash build_so.sh

到这里环境的基本配置已经完成了，接下来就是代码的准备和编译了

官方的Ai Demo项目

git clone https://gitee.com/ascend/EdgeAndRobotics.git

这是官方提供的sample demo ，里面有基础的图像检测，分类，人脸识别等demo，可以帮助我们快速上手，同时也适合在源码上根据需要进行二次修改。

模型转换

Orange Ai pro 需要的是.om的格式，我们需要把pt 的模型转成onnx 再利用平台的 Atc工具转成.om的格式

什么是ATC
昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具，类似RKNN或hisi 都有自己处理器需要的模型格式，CANN架构也不例外。

它可以将开源框架的网络模型（例如TensorFlow、ONNX等）转换为昇腾AI处理器支持的模型文件（.om格式），用于后续的模型推理
它可以将基于Ascend IR定义的单算子描述文件（*.json格式）转换为昇腾AI处理器支持的模型文件（.om格式），后续在整网中验证算子功能

如何转换

atc --model=yolov5s.onnx --framework=5 --output=yolov5s --input_shape="images:1,3,640,640"  --soc_version=Ascend310B4  --insert_op_conf=aipp.cfg

–framework：原始网络模型框架类型，5表示onnx。
–soc_version：模型转换时昇腾AI处理器的版本，例如Ascend310B1。
–model：原始网络模型文件，含扩展名。
–weight：原始网络模型权重文件路径，含文件名，仅当原始网络模型是Caffe时需要指定。
–output：转换后的*.om模型文件路径，含文件名，转换成功后，模型文件名自动以.om后缀结尾
–insert_op_conf: 模型相关的配置文件，包含图像大小，预处理等参数

tips: 内存小于8G最好将atc 的进程数减少，否则转换可能会报错

export TE_PARALLEL_COMPILER=1
export MAX_COMPILE_CORE_NUMBER=1

你也可以下载官方的yolov5 模型

#下载yolov5s的模型和转换模型
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov5s/yolov5s.onnx --no-check-certificate
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov5s/aipp.cfg --no-check-certificate

搭建Orange Ai Pro 垃圾检测项目

在源码demo中，进入到/ Samples / YOLOV5USBCamera / python/src中，可以看到核心的实现代码，基本上官方已经很好的把模型的加载和推理等模块，只需要稍加修改就能变成自己需要的。

class sampleYOLOV7(object):
    '''load the model, and do preprocess, infer, postprocess'''
    def __init__(self, model_path, model_width, model_height):
        self.model_path = model_path
        self.model_width = model_width
        self.model_height = model_height

    def init_resource(self):
        # initial acl resource, create image processor, create model
        self._resource = AclLiteResource()
        self._resource.init()
    
        self._dvpp = AclLiteImageProc(self._resource) 
        self._model = AclLiteModel(self.model_path)

    def preprocess(self, frame):
        # resize frame, keep original image
        self.src_image = frame
        self.resized_image = cv2.resize(frame, (self.model_width, self.model_height))

    def infer(self):
        # infer frame
        image_info = np.array([640, 640,
                            640, 640],
                            dtype=np.float32)
        self.result = self._model.execute([self.resized_image, image_info])

也可以参考这个官方项目： https://gitee.com/ascend/samples/tree/master/python/contrib/garbage_picture

模型准备

利用yolov5 代码训练出垃圾分类的模型， yolov5 源码可以在github 下载。
我这里是利用了之前公司做的垃圾分类数据集训练的垃圾分类模型，训练数据总共19000张，验证集3000张，准确率92%。

运行export导出onnx模型，拷贝到orange ai pro里。

转换模型

将我们的模型转成om的格式，参考上面的模型转换内容。

这里可以直接用官方的python版本进行修改

/home/HwHiAiUser/project/EdgeAndRobotics/Samples/YOLOV5USBCamera/python/

编写index.py，加入自己的预处理和后处理逻辑

def preprocess_image(image, cfg, bgr2rgb=True):
    """图片预处理"""
    img, scale_ratio, pad_size = letterbox(image, new_shape=cfg['input_shape'])
    if bgr2rgb:
        img = img[:, :, ::-1]
    img = img.transpose(2, 0, 1)  # HWC2CHW
    img = np.ascontiguousarray(img, dtype=np.float32)
    return img, scale_ratio, pad_size


def draw_bbox(bbox, img0, color, wt, names):
    """在图片上画预测框"""
    det_result_str = ''
    for idx, class_id in enumerate(bbox[:, 5]):
        if float(bbox[idx][4] < float(0.05)):
            continue
        img0 = cv2.rectangle(img0, (int(bbox[idx][0]), int(bbox[idx][1])), (int(bbox[idx][2]), int(bbox[idx][3])),
                             color, wt)
        img0 = cv2.putText(img0, str(idx) + ' ' + names[int(class_id)], (int(bbox[idx][0]), int(bbox[idx][1] + 16)),
                           cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)
        img0 = cv2.putText(img0, '{:.4f}'.format(bbox[idx][4]), (int(bbox[idx][0]), int(bbox[idx][1] + 32)),
                           cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)
        det_result_str += '{} {} {} {} {} {}\n'.format(
            names[bbox[idx][5]], str(bbox[idx][4]), bbox[idx][0], bbox[idx][1], bbox[idx][2], bbox[idx][3])
    return img0

在完成推理后，输出模型的推理结果同时保存推理图像

3
有害垃圾
1
厨余垃圾
2
其他垃圾
4
可回收垃圾
1
厨余垃圾
4
可回收垃圾

经过测试发现，推理一张图像耗费的时间大约为16-20ms之间，后续还有优化的空间

 handler img 18.02ms
 hanlder img 16.01ms
 handler img 19.92ms

使用总结

1、开发流程和官方文档较为完善，整个流程还是比较顺畅的，降低了使用的学习成本。
2、同时在AI算力上，推理的速度也非常给力，npu的推理速度可以满足大部分的实时处理需求，能够满足我做一些diy的智能家居方向。
3、丰富的硬件功能，Orang ai pro 配备了丰富的硬件接口，给开发更复杂的AI应用提供了更多可能性。

总体来说，Orang AI Pro 强大的AI能力和便捷的使用体验，还是给我留下了美好的印象，未来我也希望能通过Orange AI Pro 创作出更多的AI应用。