一、实验目的
BMCV 提供了一套基于 Sophon AI 芯片优化的机器视觉库，通过利用芯片的 TPU 和 VPP模块，可以完成色彩空间转换、尺度变换、仿射变换、透射变换、线性变换、画框、JPEG 编解码、BASE64 编解码、NMS、排序、特征匹配等操作。
本实验的目的是掌握算能的BMCV接口使用方法，掌握bmcv_sobel，bmcv_canny边缘检测函数的使用方法。
二、实验内容
基于套接字、多线程、同步锁机制实现多媒体文件的收发；
发送端Ubuntu的PC机读取文件，每1024个字节组成一个包通过TCP报文发送到接收端；接收端SE5上启动2个线程，线程1接收报文并将报文存入缓存；线程2通过缓存读取报文存入文件中；要求线程1和线程2之间通过同步锁进行线程同步。
- 编写代码，通过OpenCV读取图片文件，并调用BMCV的bmcv_sobel、bmcv_canny函数来实现对图片的边缘检测，最后输出检测结果。
- 直接利用OpenCV的边缘检测接口，实现边缘检测功能；
- 对比OpenCV与BMCV边缘检测所需要的时间；
三、开发环境
开发主机：Ubuntu 22.04 LTS
硬件：算能SE5
本地如果有SE5硬件，则可以PC机作为客户端，SE5作为服务器端。本地如果没有SE5硬件，只有云空间，则可以直接将客户端和服务器端都通过云空间实现，机在云空间的SE5模拟环境中实现。
四、实验器材
开发主机 + 云平台
五、实验过程与结论
5.1 BMCV关键函数解析
请参考算能BMCV开发资料：《BMCV User Guide》，也可以通过以下网址下载：
https://doc.sophgo.com/docs/2.7.0/docs_latest_release/bmcv/BMCV_User_Guide_zh.pdf
OpenCV的开发资料可参考《OpenCV官方文档》。
算能BMCV提供了bmcv_image_sobel和bmcv_image_canny函数用于进行边缘检测。
bmcv_image_sobel：
bm_status_t bmcv_image_sobel (
bm_handle_t handle, //BMCV句柄
bm_image input, //输入的BMI图片（待处理）
bm_image output, //输出的BMI图片（处理结果）
int dx, //x 方向上的差分阶数
int dy) //y 方向上的差分阶数具体函数接口说明如下：
（1）第二个参数和第三个参数图像的格式为bm_image，bm_image 需要外部调用 bmcv_image_creat创建。image 内存可以使用 bm_image_alloc_dev_mem 或者 bm_image_copy_host_to_device来开辟新的内存，或者使用 bmcv_image_attach 来 attach 已有的内存。
（2）dx, dy取值皆为1或0。 其中，dx=1，dy=0，表示计算X方向的导数，检测出的是垂直方向上的边缘；dx=0，dy=1，表示计算Y方向的导数，检测出的是垂直方向上的边缘。
（3） Sobel 核的大小，必须是-1,1,3,5 或7。其中特殊地，如果是-1 则使用3×3 Scharr 滤波器，如果是1 则使用3×1 或者1×3 的核。默认值为3。scale 为对求出的差分结果乘以的系数，默认值为1。Delta为在输出最终结果之前加上该偏移量，默认值为0。通常不需要对scale和Delta进行设置。
bmcv_image_canny：
bm_status_t bmcv_image_canny (
bm_handle_t handle,
bm_image input,
bm_image output,
float threshold1,
float threshold2,
int aperture_size = 3,
bool l2gradient = false);具体函数接口说明如下：
（1）第二个参数和第三个参数图像的格式为bm_image，bm_image 需要外部调用 bmcv_image_create 创建。image 内存可以使用 bm_image_alloc_dev_mem 或者 bm_image_copy_host_to_device来开辟新的内存，或者使用 bmcv_image_attach 来 attach 已有的内存。
（2）threshold1 和threshold2 为双阈值法的第一、第二个阈值。aperture_size 为 其中Sobel 核的大小，目前仅支持3。l2gradient 表示是否使用L2 范数来求图像梯度, 默认值为false，默认为由L1范数来求解图像梯度。
注意，BMCV的函数接口都是基于BMI格式进行图像处理。如上面的函数说明，其中第二个参数和第三个参数都是基于bm_image格式的。因此，需要首先通过OpenCV读取图片，并将图片格式转换为BMI格式后，才可以调用bmcv_image_sobel和bmcv_image_canny函数进行边缘检测。
本实验及实验5，实验6，实验7中使用BMCV相关函数的基本处理流程如下图所示，仅需调整红框模块中所调用的API即可实现不同实验功能：
图4-1 实验流程框图
首先，本实例为了利用BMCV接口，需要引用相关的BMCV相关头文件：
#include "bmcv_api.h"创建Mat类对象并读取图片数据：
# 创建OpenCV类对象
cv::Mat Input,Out;
# 读取第二个命令行参数存入mat对象中（读取数据）
Input = cv::imread(argv[1], 0);注意，这里OpenCV类读取到的图片文件输出的格式是MAT格式，而BMCV处理的图片是bm_image格式，即BMCV对象。因此，我们需要先创建BMCV对象，然后将OpenCV类读取到的图片通过toBMI接口转换为BMCV对象。
# 创建BMCV对象
bm_image input, output;
bm_image_create(handle,height,width,FORMAT_GRAY,DATA_TYPE_EXT_1N_BYTE,&input);
# 以下是c++智能指针：划分一块内存区域并获取其信息
std::unique_ptr<unsigned char[]> src_data(new unsigned char[width * height]);
std::unique_ptr<unsigned char[]> res_data(new unsigned char[width * height]);BMCV对象操作要求，在对象创建后，需要为该对象申请内部管理内存。如下函数所示：
bm_image_alloc_contiguous_mem(1, &input);
bm_image_alloc_contiguous_mem(1, &output);也可以通过bm_image_alloc_dev_mem(input)函数申请内存：
bm_image_alloc_dev_mem(input)
bm_image_alloc_dev_mem(output);然后通过toBMI函数将OpenCV读取的图片mat类数据转化为BMCV类数据，再调用bmcv_image_sobel函数进行处理：
cv::bmcv::toBMI(Input,&input);
# Sobel边缘检测
bmcv_image_sobel(handle, input, output, 0, 1)需要注意的是这里用了toBMI函数实际内部做了一个内存同步的操作。也就是OpenCV读取的mat格式图片实际处于系统内存中，通过toBMI转换后同步到设备内存中。这里也可以通过bm_image_copy_host_to_device函数完成内存的同步。具体见上述的《BMCV User Guide》110页中的示例代码所采用的方法。
将处理结果转化为mat数据格式保存
cv::bmcv::toMAT(&output, Out);
cv::imwrite("out.jpg", Out);销毁内存
bm_image_free_contiguous_mem(1, &input);
bm_image_free_contiguous_mem(1, &output);
bm_image_destroy(input);
bm_image_destroy(output);
bm_dev_free(handle);综上，我们可以得到利用BMCV sobel函数进行图像边缘检测的关键代码如下：
#include <iostream>
#include <vector>
#include "bmcv_api.h"
#include "common.h"
#include "stdio.h"
#include "stdlib.h"
#include "string.h"
#include <memory>
using namespace cv;
using namespace std;
int main(int argc, char *argv[]) {
bm_handle_t handle; //获取句柄
bm_dev_request(&handle, 0);
int width = 600; //定义图片数据
int height = 600;
cv::Mat Input,Out,Test;
Input = cv::imread(argv[1], 0); //opencv读取图片，通过命令行参数传入
// 智能指针获取分配内存数据
std::unique_ptr<unsigned char[]> src_data(
new unsigned char[width * height]);
std::unique_ptr<unsigned char[]> res_data(
new unsigned char[width * height]);
// bmcv处理
bm_image input, output;
bm_image_create(handle,height,width,FORMAT_GRAY, DATA_TYPE_EXT_1N_BYTE,&input);
bm_image_alloc_contiguous_mem(1, &input, 1); // 分配device memory
unsigned char * input_img_data = src_data.get();
bm_image_copy_host_to_device(input, (void **)&input_img_data);
bm_image_create(handle,height,width,FORMAT_GRAY,DATA_TYPE_EXT_1N_BYTE,&output);
bm_image_alloc_contiguous_mem(1, &output, 1);
cv::bmcv::toBMI(Input,&input); //自动进行内存同步
// bmcv图像处理：ca
if (BM_SUCCESS != bmcv_image_sobel(handle, input, output, 0, 1)) {
std::cout << "bmcv sobel error !!!" << std::endl;
bm_image_destroy(input);
bm_image_destroy(output);
bm_dev_free(handle);
return -1;
}// 将输出结果转成mat数据并保存
cv::bmcv::toMAT(&output, Out);
cv::imwrite("out.jpg", Out);
bm_image_free_contiguous_mem(1, &input);
bm_image_free_contiguous_mem(1, &output);
bm_image_destroy(input);
bm_image_destroy(output);
bm_dev_free(handle);
return 0;
}如果采用bmcv_image_canny函数进行边缘检测，只需要将上述代码中的bmcv_image_sobel函数改为bmcv_image_canny函数即可：
// bmcv图像处理：canny
if (BM_SUCCESS != bmcv_image_canny(handle, input, output, 0, 200)) {
td::cout << "bmcv canny error !!!" << std::endl;
bm_image_destroy(input);
bm_image_destroy(output);
bm_dev_free(handle);
exit(-1);
}编写makfile文件：
DEBUG ?= 0
PRODUCTFORM ?= soc
BM_MEDIA_ION ?= 0
INSTALL_DIR ?= release
//注意：这个地方一定要根据自己的目录路径进行设置
top_dir :=../../..
ifeq ($(PRODUCTFORM),x86) # pcie mode
CROSS_CC_PREFIX = x86_64-linux-
else # pcie_arm64 and soc mode
CROSS_CC_PREFIX = aarch64-linux-gnu-
endif
CC = $(CROSS_CC_PREFIX)gcc
CXX = $(CROSS_CC_PREFIX)g++
CPPFLAGS := -std=gnu++11 -fPIC -Wall -Wl,--fatal-warning
ifeq ($(DEBUG), 0)
CPPFLAGS += -O2
else
CPPFLAGS += -g
endif
# NATIVE API SDK
NATIVE_SDK_HEADERS:=-I$(top_dir)/include/decode
NATIVE_SDK_LDFLAGS:=-L$(top_dir)/lib/decode/${PRODUCTFORM}
NATIVE_SDK_LDLIBS :=-lbmion -lbmjpulite -lbmjpuapi -lbmvpulite -lbmvpuapi -lbmvideo -lbmvppapi -lyuv
# FFMPEG SDK
FF_SDK_HEADERS := -I$(top_dir)/include/ffmpeg
FF_SDK_LDFLAGS := -L$(top_dir)/lib/ffmpeg/$(PRODUCTFORM)
FF_SDK_LDLIBS := -lavcodec -lavformat -lavutil -lswresample -lswscale
# OpenCV SDK
OCV_SDK_HEADERS := -I$(top_dir)/include/opencv/opencv4
OCV_SDK_LDFLAGS := -L$(top_dir)/lib/opencv/$(PRODUCTFORM)
OCV_SDK_LDLIBS := -lopencv_core -lopencv_imgcodecs -lopencv_imgproc -lopencv_videoio
# BMCV SDK
BMCV_SDK_HEADERS := -I$(top_dir)/include/bmlib
BMCV_SDK_LDFLAGS := -L$(top_dir)/lib/bmnn/$(PRODUCTFORM)
ifeq (${PRODUCTFORM}, x86)
BMCV_SDK_LDFLAGS := -L$(top_dir)/lib/bmnn/pcie
endif
BMCV_SDK_LDLIBS := -lbmcv -lbmlib
CPPFLAGS += $(NATIVE_SDK_HEADERS) $(FF_SDK_HEADERS) $(OCV_SDK_HEADERS) $(BMCV_SDK_HEADERS)
LDFLAGS := $(NATIVE_SDK_LDFLAGS) $(FF_SDK_LDFLAGS) $(OCV_SDK_LDFLAGS)
LDLIBS := $(NATIVE_SDK_LDLIBS) $(FF_SDK_LDLIBS) $(OCV_SDK_LDLIBS) $(BMCV_SDK_LDLIBS) -lpthread -lstdc++
TARGET=bmcv_sobel
MAKEFILE=Makefile
ALLOBJS=*.o
ALLDEPS=*.dep
RM=rm -rf
CP=cp -f
SOURCES := bmcv_sobel.cpp
OBJECTPATHS:=$(patsubst %.cpp,%.o,$(SOURCES))
.phony: all clean
all: $(TARGET)
$(TARGET): $(OBJECTPATHS)
$(CC) -o $@ $(OBJECTPATHS) $(LDFLAGS) $(LDLIBS)
install: $(TARGET)
install -d $(INSTALL_DIR)/bin
install $(TARGET) $(INSTALL_DIR)/bin
uninstall:
$(RM) $(INSTALL_DIR)/bin/$(TARGET)
clean:
$(RM) $(TARGET)
$(RM) $(ALLDEPS)
$(RM) $(ALLOBJS)
bmcv_sobel.o : bmcv_sobel.cpp $(MAKEFILE)
$(CXX) $(CPPFLAGS) -c $< -o $@ -MD -MF $(@:.o=.dep)
LDLIBS := $(NATIVE_SDK_LDLIBS) $(FF_SDK_LDLIBS) $(OCV_SDK_LDLIBS) $(BMCV_SDK_LDLIBS) -lpthread -lstdc++
TARGET=bmcv_sobel
MAKEFILE=Makefile
ALLOBJS=*.o
ALLDEPS=*.dep
RM=rm -rf
CP=cp -f
SOURCES := bmcv_sobel.cpp
OBJECTPATHS:=$(patsubst %.cpp,%.o,$(SOURCES))
.phony: all clean
all: $(TARGET)
$(TARGET): $(OBJECTPATHS)
$(CC) -o $@ $(OBJECTPATHS) $(LDFLAGS) $(LDLIBS)
install: $(TARGET)
install -d $(INSTALL_DIR)/bin
install $(TARGET) $(INSTALL_DIR)/bin
uninstall:
$(RM) $(INSTALL_DIR)/bin/$(TARGET)
clean:
$(RM) $(TARGET)
$(RM) $(ALLDEPS)
$(RM) $(ALLOBJS)
bmcv_sobel.o : bmcv_sobel.cpp $(MAKEFILE)
$(CXX) $(CPPFLAGS) -c $< -o $@ -MD -MF $(@:.o=.dep)5.2 BMCV执行结果
向云平台或SE5上传待检测的图片，并执行如下代码：
./bmcv_sobel greycat.jpeg bmcv
运行程序后，对同一张图片进行处理所得出的sobel和canny边缘检测的两个结果：
Sobel：
Canny：
如上图所示，两种边缘检测都能大概检测出图像边缘，但精细程度不同。在实际应用时可选择自己所适合的方式选择合适的边缘检测方式。
5.3 OpenCV关键函数解析
OpenCV也提供了Sobel和Canny边缘检测算子，具体函数原型如下：
void cv::Canny(InputArray image,
OutputArray edges,
double threshold1,
double threshold2,
int apertureSize = 3,
bool L2gradient = false
)
void cv::Sobel(InputArray src,
OutputArray dst, //输出图像，与输入图像src具有相同的尺寸和通道数，数据类型由第三个参数ddepth控制。
int ddepth, // ddepth：输出图像的数据类型（深度）, 为-1时，输出图像的数据类型自动选择。
int dx,
int dy,
int ksize = 3,
double scale = 1,
double delta = 0,
int borderType = BORDER_DEFAULT) //像素外推法选择标志，默认为//BORDER_DEFAULT，表示不包含边界值倒序填充。
同名参数的含义与BMCV中参数含义相同。OpenCV下，不需要进行BMI转换，直接可以将读取到的MAT格式的图片通过sobel 和Canny接口进行处理。如下图所示：
//头文件
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
....
//关键代码
cv::Mat srcImage = cv::imread(argv[1], 1);
cv::Mat grayImage;
cv::Mat srcImage1 = srcImage.clone();
cvtColor(srcImage, grayImage, COLOR_BGR2GRAY);
Mat dstImage, edge;
dstImage.create(srcImage1.size(), srcImage1.type());
dstImage = Scalar::all(0);
srcImage1.copyTo(dstImage, edge);5.4 硬件加速性能对比
此外，在算能云平台上，基于BMCV的sobel函数，因为使用了硬件加速，所以可以提升速率。
为验证执行程序所需的时间，须在运行时通过time命令来实现，如下图所示：
第一张图为用OpenCV的sobel函数所需时间，第二张图为用bmcv的sobel函数时所需的时间。经硬件加速后，程序所需的运行时间明显减少。
