【EdgeAI实战】（1）STM32 边缘 AI 生态系统

【EdgeAI实战】（1）STM32 边缘 AI 生态系统

【EdgeAI实战】（1）STM32 边缘 AI 生态系统

- 1. STM32 边缘人工智能
- - 1.1 X-CUBE-AI 扩展包
  - 1.2 STM32 AI Model Zoo
  - 1.3 ST AIoT Craft
- 2. STM32N6 AI 生态系统 (STM32N6-AI)
- - 2.1 STM32N6 AI 产品组合
  - 2.2 STM32N6 AI 开发工具
- 3. STM32Cube.AI 参考资料
- - 3.1 ST 边缘AI 官方入口
  - 3.2 ST 边缘AI 套件（ST Edge AI Suite）
  - 3.3 STM32Cube.AI 参考文档
  - 3.4 STM32N6 资料和设计文件

1. STM32 边缘人工智能

从云AI到边缘AI

AI的应用越来越广泛，它影响着我们每天使用的服务，接触的设备和机器。

现阶段的AI技术很大程度上依赖于云计算，使用强大的远程数据中心，处理由本地设备收集的数据。边缘AI将AI算法和模型直接部署在物联网 (IoT) 设备和嵌入式工业和汽车系统等设备上。这种部署方式让我们得以在源头实时处理和分析数据，让真正自主的智能设备成为可能，使设备能够快速决策，以适应性的方式触发行动。

相对云部署，在边缘部署AI具有诸多优势。更快的速度和超低的延迟，大大降低了数据传输负荷，显著提高了安全性。在云端运行推理算法需要瓦特级的功率，而在边缘设备上仅需消耗毫瓦甚至微瓦级的功率，显著降低了运行功耗。此外，边缘AI还能更好地保护隐私。

边缘AI为所有市场的设备和服务创造者打开了新的大门，让我们可以用比云技术低得多的成本实现更多新应用。

1.1 X-CUBE-AI 扩展包

STM32 Cube.AI 扩展包下载地址：STM32 x-cube-ai

X-CUBE-AI是STM32Cube.AI生态系统的STM32Cube扩展包部分，能够自动转换预训练人工智能算法（包括神经网络和经典机器学习模型），并将生成的优化库集成到用用户项目中，以此来扩展STM32CubeMX功能。

为STM32平台优化NN和ML模型
在STM32平台上对NN和ML模型进行性能分析
在STM32平台上评估NN和ML模型
以STM32CubeMX扩展包的形式提供

在这里插入图片描述

1. 为STM32平台优化NN和ML模型
将您自己的神经网络模型导入STM32CubeMX，选择优化选项，并生成与输入模型相对应的经优化C代码。
在这里插入图片描述

2. 在STM32平台上对NN和ML模型进行性能分析
X-CUBE-AI将分析NN模型并生成性能分析报告，从而详细说明整个网络及其各层的NN内存需求和推理时间。
在这里插入图片描述

3. 其它功能
从预训练神经网络和经典机器学习模型生成STM32优化库
原生支持各种深度学习框架，如Keras和TensorFlow™ Lite，并支持可导出为ONNX标准格式的所有框架，如PyTorch™、Microsoft® Cognitive Toolkit、MATLAB®等
支持各种内置scikit-learn模型，如孤立森林、支持向量机(SVM)、K-means等
支持8位量子化Keras网络以及TensorFlow™ Lite量子化网络
允许将权重存储在外部Flash存储器和外部RAM的激活缓冲区中，从而使用更大的网络
通过STM32Cube集成在不同的STM32微控制器系列之间实现轻松移植
借助TensorFlow™ Lite神经网络，使用STM32Cube.AI运行时或面向微控制器的TensorFlow™ Lite运行时来生成代码

1.2 STM32 AI Model Zoo

Model Zoo 提供一系列针对 STM32 器件进行优化的 AI 模型，可以部署在 STM32 MCU 上运行。

可从针对 STM32 器件进行了优化的一系列AI模型中选择
使用脚本重新训练数据集中的任何模型
使用脚本在应用上部署AI模型
自带模型 (BYOM) 或自带数据 (BYOD)

下载地址：
Github: ST-stm32ai-modelzoo
Github: ST-MEMS-Machine Learning Core
Github: ST-MEMS-intelligent sensor processing unit

在这里插入图片描述

1.3 ST AIoT Craft

这是一款在线工具，可利用带有传感器内AI的 STM32 组件快速开发传感器到云解决方案。

借助ST AIoT Craft，可以尝试集成在 STM32 智能传感器中的先进边缘AI功能。

首先学习如何对嵌入在许多MEMS惯性传感器和IMU中的机器学习核心（MLC）引擎进行编程：当微控制器处于睡眠模式时，可以对加速度（或振动）和旋转模式进行分类，从而节省能源。
ST AIoT Craft收集标记的传感器数据，并使用它来训练MLC发动机。结果可以通过ST评估板从门户网站（我们建议使用Chrome）或配套的移动应用程序进行验证。
ST AIoT Craft还建立了一个完整的物联网系统，其中传感器板连接到网关，网关与云应用程序通信。

利用意法半导体开发板创建传感器到云解决方案
使用在线工具简化支持AI的物联网节点的开发流程。

在这里插入图片描述

对机器学习内核编程，以运行传感器内AI
在MEMS传感器中快速创建在其嵌入的机器学习内核上运行的决策树算法。

在这里插入图片描述

探索端到端项目示例
利用 STM32 参考设计探索概念验证。

在这里插入图片描述

2. STM32N6 AI 生态系统 (STM32N6-AI)

STM32N6-AI

STM32N6 AI生态系统 (STM32N6-AI) 是意法半导体推出的工具和资源集合，旨在支持在高性能STM32N6系列微控制器上开发和部署AI模型。

在这里插入图片描述

2.1 STM32N6 AI 产品组合

STM32N6微控制器 (MCU) 首次集成了意法半导体专有的Neural-ART加速器神经处理单元 (NPU)，在AI/ML性能上实现了重大突破。

STM32N6 是ST首款集成自研硬件NPU神经网络硬件处理单元的通用微控制器，其算力可达0.6TOPS(每秒0.6万亿次运算)。STM32N6 还集成了新IP和视频外设，如MIPI CSI摄像机、机器视觉图像信号处理器（ISP）、H.264视频编码器和支持时间敏感网络（TSN）端点的千兆以太网控制器。

神经网络硬件加速单元（NPU）
处理能力达 600 GOPS，其神经网络加速处理能力是目前最高性能 STM32H7 的 600 倍。
能效出色：能效达到 3TOPS/W，功耗极低，运行 AI 模型无需散热装置。
基于 Cortex-M55 内核
采用 Cortex-M55 内核，主频 800MHz，基于 ARM v8.1 架构，新增 150 个新指令，尤其是矢量指令集，可用于 NPU 运算数据的前处理和后处理（如 DSP 运算操作）。
内置大容量 RAM
拥有 4.2MB 连续地址空间的 SRAM，具备多种使用方式，比如存储 NPU 运算中的推理数据，或用作帧缓存以及 H264 压缩时的中间数据。
机器视觉能力
算力支持：提供 600GOPS 的 AI 处理算力，可开展众多机器视觉应用。
接口与处理器：具备 MIPI CSI2 2 线的摄像头接口，还有特定的图像信号处理器 ISP，能实现摄像机 RAW 图到 RGB 格式的转换。
扩展的多媒体功能
图形加速：2.5D图形加速器。
视频编码传输：集成 H264 编码器，便于在运行 AI 处理时，通过以太网口或 USB（UVC 协议）将摄像头获取的视频传输到外部，同时具备 JPEG 编码和解码的硬件。
STM32Cube.AI (X-CUBE-AI)：
- 用于优化NN模型的桌面工具（STM32CubeMX插件）
- 自动生成适用于STM32微控制器的C代码
ST Edge AI Developer Cloud (STEDGEAI-DC)：
- 在线基准测试平台，用于在Board Farm中在线托管的STM32开发板上对AI性能（推理时间、内存占用）进行基准测试。
- 自动生成适用于STM32微控制器的C代码
- 通过REST API实现流程自动化
ST Edge AI Core (STEdgeAI-Core)：
- 用于优化NN模型的命令行接口 (CLI)
- 自动生成适用于STM32微控制器的C代码
STM32 Model Zoo：
- 提供经过精心优化的AI模型集及相关性能、即用型应用示例，以及用于模型训练、评估、量化、基准测试和部署的脚本。
- 通过REST API使用ST Edge AI Developer Cloud服务
应用包：
- 提供多个AI应用的优化源代码
- 在用户的开发板上无缝实施
入门代码示例：
- 简单的AI代码示例和教程，介绍如何使用意法半导体Neural-ART加速器实现AI应用
- 可选链接至STM32 Model Zoo资源
提供丰富工具以满足用户的配置和目标。
Neural-ART加速器与AI软件生态系统的无缝集成，确保了AI应用性能的优化。
用户可轻松获取模型选择、训练脚本及关键模型指标，可直接用于基准测试。
基于Python™脚本 (REST API) 的ML自动化基准测试服务。
丰富的使用案例和应用代码示例，快速在MCU上开启AI应用开发。
原生支持多种深度学习框架，如 Keras 和 TensorFlow Lite，同时兼容所有可导出为ONNX标准格式的框架，包括PyTorch、MATLAB 等。

2.2 STM32N6 AI 开发工具

STM32N6 AI生态系统的所有工具和软件包均属于ST Edge AI Suite。该套件整合了多种软件工具，旨在简化嵌入式AI应用的开发和部署。该综合套件支持从数据收集到在硬件最终部署的整个机器学习算法和神经网络模型的优化和部署流程，简化了跨学科领域的专业人士的工作流程。

STM32N6-AI工具专为简化开发流程而设计，确保开发人员能够实现最理想的性能和效率。这些工具支持“自带数据”(BYOD) 和“自带模型”(BYOM) 两种开发方式，以满足用户的不同开发实践和偏好。
例如，STM32 Model Zoo（github.com/STMicroelectronics/stm32ai-modelzoo）、ST Edge AI Developer Cloud (STEDGEAI-DC)、STM32Cube.AI (X-CUBE-AI) 和ST Edge AI Core (STEdgeAI-Core) 等工具，充分发挥了STM32N6在AI和计算机视觉 (CV) 应用方面的潜力。

此外，STM32N6-AI还提供多种软件包，作为用户AI项目的示例和起点：

AI应用：包括简单的计算机视觉 (CV) 和音频应用（如人物检测或图像分类），以及更复杂和优化的应用（如姿势估计、实例分割、手部关键点检测和音频场景识别）。
视频应用：展示完整的应用场景，包括H264编码和通过USB视频设备等级码流将数据输出到PC。

总体而言，STM32N6-AI提供了一个完整的软件和工具生态系统，帮助开发人员利用STM32N6在边缘构建下一代机器学习应用。STM32N6中嵌入的Neural-ART加速器NPU专为高效处理AI推理任务而设计，可显著加速NN模型的执行。这种整合使微控制器上的边缘AI应用变得更加实用和普及，为广泛的应用场景提供了强大、高效且可扩展的解决方案。