OrangePi AIpro在安防领域的深思和实战(旷视科技CNN模型ShuffleNetV1开发案例测试)

一、前言

公司最近有个项目是安防领域的，主要用在边缘结点，虽然已做成形，但是还是存在一些缺陷，例如：算力问题，开发板的成熟问题，已经各种技术的解决方案落地问题。目前我们集成了很多功能，主要是拉取rtsp等流媒体协议的实时视频流，例如：可以拉取海康相机的rtsp，然后针对这个相机做AI识别以及分析。

Orange Pi AI Pro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其搭载了昇腾 AI 处理器，可提供 8TOPS INT8 的计算能力，内存提供了 8GB 和 16GB 两种版本。可以实现图像、视频等多种数据分析与推理计算，可广泛用于教育、机器人、无人机等场景。

今天香橙派AIpro这块板子终于到了，先来探索下在安防领域的应用。

在这里插入图片描述

二、搭建开发环境

梳理这篇文章之前整理了很多篇，这里直接写总结吧，太冗余的废话就不多说了。总结下来，香橙派AIpro的开发环境并没有太复杂的地方，主要是下载好交叉编译工具，配置好环境变量就OK了。

在这里插入图片描述

官网提供了多个下载的资源，在官方工具这个地址中可以下载到交叉编译工具

在这里插入图片描述

还提供了一些额外的辅助工具，远程工具，图片查看工具等：

在这里插入图片描述

下载好，配置环境变量：

 export PATH=$PATH:/你的位置/toolchain/bin/

如果你是windows就加到自己的PATH环境变量中即可，这个就不需要多说了吧。

如何验证安装成功了呢：

1.使用which命令
which aarch64-target-linux-gnu-g++

2.如果能查到说明成功了
/位置/toolchain/bin//aarch64-target-linux-gnu-g++

通过putty的串口连接：

在这里插入图片描述

登录成功：
在这里插入图片描述

三、识别案例

咱们可以参考samples：

(base) HwHiAiUser@orangepiaipro:~$ 
(base) HwHiAiUser@orangepiaipro:~$ cd samples/
(base) HwHiAiUser@orangepiaipro:~/samples$ ls
01-SSD  02-CNNCTC  03-ResNet50  04-HDR  05-CycleGAN  06-Shufflenet  07-FCN  08-Pix2Pix  start_notebook.sh
(base) HwHiAiUser@orangepiaipro:~/samples$

可以看到有个启动脚本：

(base) HwHiAiUser@orangepiaipro:~/samples$ cat start_notebook.sh 
. /usr/local/Ascend/ascend-toolkit/set_env.sh
export PYTHONPATH=/usr/local/Ascend/thirdpart/aarch64/acllite:$PYTHONPATH

if [ $# -eq 1 ];then
    jupyter lab --ip $1 --allow-root --no-browser
else
    jupyter lab --ip 127.0.0.1 --allow-root --no-browser
fi

(base) HwHiAiUser@orangepiaipro:~/samples$

通过if [ $# -eq 1 ]可以知道，这个脚本可以接收一个IP参数：

在这里插入图片描述

然后把这一串URL复制到浏览器地址栏把127.0.0.1改成自己的IP即可访问：

在这里插入图片描述

访问效果：

在这里插入图片描述

ShuffleNet v1 是由国产旷视科技团队在 2018 年提出的一种计算高效的CNN模型，其和 MobileNet、SqueezeNet 等一样主要是想应用在移动端。

ShuffleNet 的设计目标也是如何利用有限的计算资源来达到最好的模型精度，这需要很好地在速度和精度之间做平衡。目前移动端CNN模型主要设计思路主要是两个方面：模型结构设计和模型压缩。ShuffleNet 和MobileNet 一样属于前者，都是通过设计更高效和轻量化的网络结构来实现模型变小和变快，而不是对一个训练好的大模型做压缩或者迁移。

ShuffleNet 的核心是采用了两种操作：pointwise group convolution 和 channel shuffle，这在保持精度的同时大大降低了模型的计算量。ShuffleNet 的核心设计理念是对不同的 channels 进行 shuffle 来解决 group convolution 带来的弊端。

对这个比较感兴趣，看到有这个案例就研究下跑个试试：

进入到相应的目06-Shufflenet目录：
打开main_shufflenet.ipynb文件，可以打开在线编辑。
在这里插入图片描述

跑自己的模型的话，可以使用香橙派提供的模型转换工具把模型转换一下：

atc --output_type=FP32 --input_format=NCHW--output="./shufflenet" --soc_version=Ascend310B4 --framework=1 --save_original_model=false --model="./shufflenet.air" --precision_mode=allow_fp32_to_fp16

参数含义：

  * --output_type：指定网络输出数据类型。
  * --input_format：输入Tensor的内存排列方式。
  * --output：输出的模型文件路径。
  * --soc_version：昇腾AI处理器型号，此处为"Ascend310B4"。
  * --framework：原始框架类型,  0: Caffe, 1: MindSpore, 3: TensorFlow, 5: ONNX。
  * --save_original_model：转换后是否保留原始模型文件。
  * --model：原始模型文件路径。
  * --precision_mode：选择算子精度模式。

官方的案例中使用python写了4部分的代码：

在这里插入图片描述

运行后就可以得到该模型跑后的结果：

在这里插入图片描述

从提供的日志中可以看到，整个流程涉及初始化、资源释放和模型加载阶段的日志记录。以下是各个阶段的分析：

初始化资源阶段 (init resource stage)

Init resource success: 表示初始化资源阶段成功完成。
Init model resource start…: 开始初始化模型资源。

初始化模型资源阶段 (Init model resource start…)

[AclLiteModel] create model output dataset:
- malloc output 0, size 40: 为模型输出分配了大小为40的内存。
- Create model output dataset success: 成功创建了模型输出数据集。
Init model resource success: 模型资源初始化成功。

释放资源阶段 (acl resource release all resource)