爱智EdgerOS之深入解析AI图像引擎如何实现AI视觉开发

一、前言

AI 视觉是为了让计算机利用摄像机来替代人眼对目标进行识别，跟踪并进一步完成一些更加复杂的图像处理。这一领域的学术研究已经存在了很长时间，但直到 20 世纪 70 年代后期，当计算机的性能提高到足以处理图片这样大规模的数据时，计算机视觉才得到了正式的关注和发展。
现在 AI 视觉已经在我们的生活中无处不在，从日常使用的二维码到人脸识别直至更专业的病理分析。AI 视觉的应用所渗透到的领域远比我们想象的更加广泛。虽然 AI 视觉的应用已经随处可见，但如果想要自己去开发一套属于自己的 AI 视觉应用，对于一个非专业领域的开发者还是非常复杂的，单从最基础的算法训练就要消耗掉大量的精力与时间。
EdgerOS 系统则内置了多种不同方向的 AI 引擎，使开发者可以实现快速实现 AI 视觉领域的开发，极大的降低了开发周期。开发者可以根据自己的需求对不同 AI 引擎进行组合达到自己想要的业务实现。本文将带领大家一起了解 EdgerOS 中常用的两款 AI 引擎。

二、FaceNN

FaceNN 是 EdgerOS 所提供的一个针对人脸识别的 AI 处理引擎，它可以从视频流或者图片中捕捉到人脸的具体位置，还可以根据人脸的特征来分析出对应人物的特征信息如：年龄、性别、情感等一些具体信息。
FaceNN 引擎封装在 “facenn” 模块中，可以通过以下方式来导入：

const facenn= require('facenn');

FaceNN 引擎提供了极简的接口，这使得开发者可以更加快速的实现关于人脸的 AI 处理，同时也降低了巨大的学习成本。
首先需要明确一下被识别的图像格式，目前 FaceNN 引擎支持如下格式：

类型	说明
facenn.PIX FMT RGB24	RGB24 pixel format
facenn.PIX FMT BGR2RGB24	BGR24 to RBG24 pixel format
facenn.PIXFMTGRAY2RGB24	Grayscale to RGB24 pixel format
facenn.PIX FMT RGBA2RGB24	RGBA to RGB24 pixel format

facenn.detect(videoBuf, attribute[, quick])
- attribute {Object} 图像格式
- - width {Integer} 图像宽度
- - height {Integer} 图像高度
- - pixelFormat {Integer} 图像格式
- quick {Boolean} 是否启用快速模式
返回信息：
- score {Number} 人脸的覆盖率
- x0 {Integer} 左上角 x 的位置
- y0 {Integer} 左上角 y 的位置
- x1 {Integer} 右下角 x 的位置
- y1 {Integer} 右下角 y 的位置
- area {Number} Area，非快速模式
- regreCoord {Array} RegreCoord，非快速模式
- landmark {Array} Landmark，非快速模式
facenn.detect 可以识别出一帧图像数据中的人脸个数以及人脸所在图像中的位置。
facenn.feature(videoBuf, attribute, faceInfo[, extra])
- videoBuf {Buffer} 图像格式
- attribute {Object} 图像属性
- - width {Integer} 图像宽度
- - height {Integer} 图像高度
- - pixelFormat {Integer} 图像格式
- extra {Object} 需要扩展的人脸信息 default: undefined
返回信息：
- keys {Array} Face keys
- male {Boolean} 性别, 需要在扩展中选择
- age {Integer} Age, 需要在扩展中选择
- emotion {String} Emotion, 需要在扩展中选择
- emotion 可分辨情绪包括: angry,disgust,fear,happy,sad,surprise,neutral
- live {Number} 存活率，需要在扩展中选择
facenn.feature 可以识别出一张人像的具体信息，例如性别，情绪年龄等。
facenn.compare(faceKeys1, faceKeys2)
- faceKey1 {Object} Face keys 1
- faceKey2 {Object} Face keys 2
返回信息：
- 相似值 0.0 ~ 1.0
- facenn.compare 可以比对出两张人脸信息的相似值。
接下来用一下两张图片来尝试使用 FaceNN 引擎，读取其中的特征信息：

在这里插入图片描述

const imagecodec = require('imagecodec'); // 图片解析模块
const facenn = require('facenn'); 


function facennHandel(imagePath, imagePath2) {
    const image1 = imagecodec.decode(imagePath, imagecodec.COMPONENTS_RGB)
    const imageInfo1 = imagecodec.info(imagePath)
    const videoAttrFacenn = { width: imageInfo1.width, height: imageInfo1.height, pixelFormat: facenn.PIX_FMT_RGB24 }

    const faceInfos = facenn.detect(image1.buffer, videoAttrFacenn);
    const facennFeature = facenn.feature(image1.buffer, videoAttrFacenn, faceInfos[0], {
        male: true,
        age: true,
        emotion: true,
        live: true
    })
    console.log(`image1.png  male:${facennFeature.male} age:${facennFeature.age} emotion:${facennFeature.emotion} live:${facennFeature.live}`)

    const image2 = imagecodec.decode(imagePath2, imagecodec.COMPONENTS_RGB)
    const imageInfo2 = imagecodec.info(imagePath2)
    const videoAttrFacenn2 = { width: imageInfo2.width, height: imageInfo2.height, pixelFormat: facenn.PIX_FMT_RGB24 }
    const faceInfos2 = facenn.detect(image2.buffer, videoAttrFacenn2);
    const facennFeature2 = facenn.feature(image2.buffer, videoAttrFacenn2, faceInfos2[0], {
        male: true,
        age: true,
        emotion: true,
        live: true
    })
    console.log(`image2.png  male:${facennFeature2.male} age:${facennFeature2.age} emotion:${facennFeature2.emotion} live:${facennFeature2.live}`)
    
    const compareNum = facenn.compare(facennFeature.keys, facennFeature2.keys)
    console.log(compareNum)
}

facennHandel('/image/image1.png', '/image/image2.png')

// 输出如下：
// [JSRE-CON]image1.png  male:false age:21 emotion:neutral live:0.9843575954437256
// [JSRE-CON]image2.png  male:true age:58 emotion:sad live:0.33667701482772827
// [JSRE-CON]-0.1453045904636383

三、ThingNN

ThingNN 是 EdgerOS 可以从视频流或者图片中捕捉到具体事物，分别标记事务所在图片中的具体位置。
ThingNN 引擎封装在 “thingnn” 模块中，可以通过以下方式来导入：

const facenn= require('thingnn');

同样也需要明确一下被识别的图像格式，目前 ThingNN 引擎支持如下格式：

类型	说明
thingnn.PIX FMT_ RGB24	RGB24 pixel format
thingnn.PIX_FMT_BGR2RGB24	BGR24 to RBG24 pixel format
thingnn.PIX FMT GRAY2RGB24	Grayscale to RGB24 pixel format
thingnn.PIX FMT RGBA2RGB24	RGBA to RGB24 pixel format

接下来看看 ThingNN 接口提供了那些接口：
thingnn.detect(videoBuf, attribute)
- videoBuf {Buffer} 图像格式
- attribute {Object} 图像属性
- width {Integer} 图像宽度
- height {Integer} 图像高度
- pixelFormat {Integer} 图像格式
返回信息：
- className{Array} Face keys
- prob{Boolean} 性别, 需要在扩展中选择
- x0 {Integer} 左上角 x 的位置
- y0 {Integer} 左上角 y 的位置
- x1 {Integer} 右下角 x 的位置
- y1 {Integer} 右下角 y 的位置
目前 ThingNN 模块所支持可识别的类型都有：

background, aeroplane, bicycle, bird, boat,bottle, bus, car, cat, chair,cow, diningtable, dog, horse,motorbike,person, pottedplant,sheep, sofa, train, tvmonitor

thingnn.detect 可以获取到图片中事物的类别以及所在图像中的位置。
thingnn.identify(videoBuf, attribute, thingInfo)
- videoBuf {Buffer} 图像格式
- attribute {Object} 图像属性
- width {Integer} 图像宽度
- height {Integer} 图像高度
- pixelFormat {Integer} 图像格式
- thingInfo {Object} 事务对象
返回信息：具体事物的名称，thingnn.identify 可以获取到具体 thinginfo 的类型名称。
以下图为例子作为演示：

在这里插入图片描述

const imagecodec = require('imagecodec'); // 图片解析模块
const facenn = require('facenn'); 


function licplatennHandel(imagePath) {
const imageInfo = imagecodec.info(imagePath)
const imageBuf= imagecodec.decode(imagePath, imagecodec.COMPONENTS_RGB).buffer
let videoAttrThingnn = { width: imageInfo.width, height: imageInfo.height, pixelFormat: thingnn.PIX_FMT_BGR24 }
    const thingInfos = thingnn.detect(imageBuf, videoAttrThingnn);
    thingInfos.forEach((thingInfo, index) => {
        const thingName = thingnn.identify(imageBuf, videoAttrThingnn, thingInfo);
        console.log(index,thingInfo.className, thingName)
    })
}

licplatennHandel('/image/dog.png')

// 输出如下：
// [JSRE-CON]0 dog Labrador retriever

四、ImageCodec

FaceNN 模块在单独使用时是处理视频流中的人脸信息的，现在假设我们的场景是一个智能门锁，首先需要录入人脸信息，添加为合法的开锁用户，门锁摄像头再捕获视频流检测出人脸信息进行核对，校验通过则打开门锁。在录入人脸信息的时候，需要将多张人脸照片处理成流信息提供给 FanceNN 模块进行解析，ImageCodec 模块刚好就可以胜任此工作。
ImageCodec 模块提供了对多种图像格式进行编码和解码方法，包括：PNG，JPG，BMP，TGA，HDR，接下来具体看一下，如何通过 ImageCodec 处理图片数据。

const imagecodec = require('imagecodec')

① 区分带通道的图片

在对图片进行解码的时候需要区别处理带通道的 PNG 图片，ImageCodec 模块上的 decode 方法支持传入第二个可选参数：
- imagecodec.decode(path[, opt])：

const image = imagecodec.decode('./test.png', {components: imagecodec.COMPONENTS_RGB_ALPHA})

opt 的配置选项 components 可以指定以下值来区别处理不同格式的图片：

定义	值	描述
imagecodec.COMPONENTS_DEFAULT	0	使用图片的默认值
imagecodec.COMPONENTS_GREY	1	单字节灰度图像
imagecodec.COMPONENTS_GREY_ALPHA	2	带有 Alpha 通道的灰度图像
imagecodec.COMPONENTS_RGB	3	三字节 RGB 图像
imagecodec.COMPONENTS_RGB_ALPHA	4	带有 Alpha 通道的 RGB 图像

如何判断一个图片的格式，我们知道计算机实际并不是根据后缀来判断文件类型的，事实上，有个东西叫魔法数字（Magic Number），它是某一类型的文件的头一个或几个字节的内容，可以根据这个来判断传入的图片文件是什么类型的：

const fs = require('fs')
const imagecodec = require('imagecodec')
const imageBuffer = fs.readFile('./human.jpg')

let type = ''
const arr = (new Uint8Array(picture)).subarray(0, 4)
const headerString = arr.reduce((acc, cur) => acc+cur.toString(16), '')
switch (headerString) {
  case "89504e47":
    type = "png";
    break
  case "47494638":
    type = "gif";
    break
  case "ffd8ffe0":
  case "ffd8ffe1":
  case "ffd8ffe2":
    type = "jpg"
    break
  default:
    console.log('[mime-type] not png/gif/jpg.')
    break
}

将图片文件的前 4 个字节（4 个字节的长度已经足够判断出图片的类型了）拿出来进行判断，一般拍照上传的照片是 JPG 或 PNG，所以这里只需要判断出图片是否是带有 ALPHA 通道的图片即可。

② decode 方法解析图片文件

上面判断出图片类型之后，就可以通过 decode 方法解码图片文件：

const bitmap = imagecodec.decode(picture, {
  components: type === 'png' ? imagecodec.COMPONENTS_RGB_ALPHA : imagecodec.COMPONENTS_RGB
})

decode解析得到的 bitmap 为一个图像像素对象，它包含 width，height，components，buffer 4个属性，也正是 FaceNN 所需要的内容。

③ 解析图片中的人脸信息

这里跟 AI 识别的内容基本一致：

const facenn = require('facenn')

const faces = facenn.detect(bitmap.buffer, {
  width: bitmap.width,
  height: bitmap.height,
  pixelFormat: type === 'png' ? facenn.PIX_FMT_RGBA2RGB24 : facenn.PIX_FMT_RGB24
}, true)

此时得到的 faces 内容就是识别之后的人脸特征信息，从图片中获取面部信息的功能就完成。

④ 封装成包

这个功能已经封装成一个 jsre 包上传到了 npm 仓库，可以通过以下方式进行安装和使用：

npm install @edgeros/ofii

const getFaceFeature = require('@edgeros/ofii')
const imageBuffer = fs.readFile('./hunman.png')
const keys = getFaceFeature(imageBuffer)
// 如果没有检测到人脸信息则返回 []