Vitis Accelerated Libraries 学习笔记--Vision 库介绍

1. 简介

2. 分类介绍

2.1 图像容器

2.2 图像处理基础

2.3 图像滤波和平滑

2.4 图像变换和增强

2.5 图像分析和特征检测

2.6 数学和算术操作

2.7 图像校正和优化

2.8 颜色和阈值处理

2.9 高级图像处理

2.10 光流和运动估计

2.11 图像转换和映射

2.12 其他特殊功能

3. 总结

1. 简介

Vitis Vision 库是一组 90 多个内核，基于 OpenCV 计算机视觉库，针对 FPGA、AI-E 进行了优化。这个库的主要功能包括：

色彩和位深转换：能够进行图像的色彩空间转换和位深度调整。
像素算术运算：执行像素级别的算术操作，如加、减、乘、除等。
几何变换：包括旋转、缩放、仿射变换等。
统计：计算图像的统计数据，如直方图、均值、标准差等。
滤波器：应用各种滤波器进行图像平滑、锐化等处理。
特性检测和分类器：用于图像特征的检测和分类。
3D 重建：从图像数据中重建三维场景。

2. 分类介绍

2.1 图像容器

在 Vitis Vision Library 中，xf::cv::Array2xfMat() 和 xf::cv::xfMat2Array() 这两个函数是为了方便开发者在常规的 C/C++ 指针数组和 Vitis Vision 的 xf::cv::Mat 图像容器类之间转换数据而设计的。

这里的 xf::cv::Mat 是一个特殊的图像容器，用于在硬件加速中处理图像数据。它类似于 OpenCV 中的 cv::Mat，但专门为硬件优化而设计。

下面是一个简化的例子，展示了如何在顶级函数中使用这些适配器函数：

extern "C" {
void func_top (ap_uint *gmem_in, ap_uint *gmem_out, ...) {
    // 定义输入和输出的 xf::cv::Mat 对象
    xf::cv::Mat<...> in_mat(...), out_mat(...);

    // HLS 数据流指令，用于优化数据路径
    #pragma HLS dataflow

    // 将输入数据从指针数组转换为 xf::cv::Mat 格式
    xf::cv::Array2xfMat<...> (gmem_in, in_mat);

    // 执行某个 Vitis Vision 函数，处理图像数据
    xf::cv::Vitis Vision-func<...> (in_mat, out_mat...);

    // 将处理后的数据从 xf::cv::Mat 格式转换回指针数组
    xf::cv::xfMat2Array<...> (gmem_out, out_mat);
}
}

此例中：

func_top 是内核的 top 层函数，是硬件执行的入口点。
gmem_in 和 gmem_out 是指向全局内存的指针，用于输入和输出数据。
#pragma HLS dataflow 是一个编译指示，以优化数据流。
Array2xfMat 将输入数据从指针数组转换为 xf::cv::Mat 格式，这样就可以在硬件中高效处理。
Vitis Vision-func 是一个占位符，代表任何 Vitis Vision Library 中的函数，用于执行图像处理任务。
xfMat2Array 将处理后的图像数据从 xf::cv::Mat 格式转换回指针数组，以便进一步处理或存储。

这样的设计使得开发者可以利用 Vitis Vision Library 中的高性能图像处理函数，同时保持与传统 C/C++ 程序的兼容性。

数据从 OpenCV 的 cv::Mat 格式显式复制到 Vitis Vision 的 xf::cv::Mat 格式。xf::cv::Mat 是专门为硬件加速设计的图像容器，它能够确保数据在 FPGA 的本地内存中连续存储，从而提高性能。处理完成后，xf::cv::Mat 中的输出数据再被复制回 cv::Mat，以便在主机上进行进一步的处理或存储。

2.2 图像处理基础

功能：

基础数据类型和图像容器：定义图像数据结构，实现图像的读取、写入和基本操作。
像素级并行处理：利用并行处理技术加速图像处理任务。

具体函数：

Data Types
xf::cv::Mat Image Container Class
Pixel-Level Parallelism
xf::cv::imread
xf::cv::imwrite
Crop
Flip
Rotate
Delay
Duplicate
Set
Zero

2.3 图像滤波和平滑

功能：

滤波和平滑：减少图像噪声，平滑图像边缘，改善图像质量。

具体函数：

Bilateral Filter
Box Filter
Gaussian Filter
Median Blur Filter
Mode filter

2.4 图像变换和增强

功能：

图像变换：包括颜色空间转换、图像旋转、翻转等，用于图像预处理和增强。
图像增强：通过调整图像的对比度、亮度等，改善图像的视觉效果。

具体函数：

Bit Depth Conversion
Color Conversion
CUSTOM BGR2Y8
Degamma
Gamma Correction
Global Tone Mapping
Local Tone Mapping
Look Up Table
RGBIR to Standard Bayer Format

2.5 图像分析和特征检测

功能：

特征检测：识别和提取图像中的关键特征，如边缘、角点、直线等，为图像分析和理解提供基础。

具体函数：

Canny Edge Detection
FAST Corner Detection
Harris Corner Detection
Histogram Computation
HOG
HoughLines
Integral Image

2.6 数学和算术操作

功能：

数学运算：实现图像的基本数学和算术操作，如加减乘除、逻辑运算等，用于图像数据的处理和分析。

具体函数：

Absolute Difference
Accumulate
Accumulate Squared
Accumulate Weighted
AddS
Add Weighted
Bitwise AND
Bitwise NOT
Bitwise OR
Bitwise XOR
Max
MaxS
Min
MinS
MinMax Location
Pixel-Wise Addition
Pixel-Wise Multiplication
Pixel-Wise Subtraction
SubRS
SubS
Sum

2.7 图像校正和优化

功能：

校正和优化：纠正图像的畸变和色彩偏差，优化图像质量，提高分析的准确性。

具体函数：

Auto Exposure Correction
Auto White Balance
Bad Pixel Correction
Blacklevelcorrection
Color correction matrix
Demosaicing
Gaincontrol
Lens Shading Correction
Paint Mask
形态学操作
Dilate
Erode

2.8 颜色和阈值处理

功能：

形态学处理：通过膨胀、腐蚀等操作处理图像结构，用于提取图像形状和结构信息。

具体函数：

Clahe
Color Thresholding
Histogram Equalization
InRange
Otsu Threshold
Thresholding

2.9 高级图像处理

功能：

颜色处理和阈值分割：基于颜色和灰度值进行图像分割和分类，用于图像前景和背景的区分。

具体函数：

Brute-force (Bf) Feature Matcher
Custom CCA
Custom Convolution
Distance Transform Feature Matcher
Extract Exposure Frames
HDR Decompanding
HDR Merge
Mean Shift Tracking
Semi Global Method for Stereo Disparity Estimation
Stereo Local Block Matching
SVM

2.10 光流和运动估计

功能：

特征匹配和图像合成：进行图像之间的特征匹配，实现高动态范围(HDR)图像合成，提供高级图像分析能力。

具体函数：

Dense Pyramidal LK Optical Flow
Dense Non-Pyramidal LK Optical Flow
TVL1 Optical Flow

2.11 图像转换和映射

功能：

运动估计：通过光流技术估计图像序列中物体或场景的运动，用于视频分析和监控。

具体函数：

convertScaleAbs
convertTo
Remap
Resolution Conversion (Resize)
Warp Transform

2.12 其他特殊功能

功能：

特殊处理和优化：提供一系列特殊功能，如3D查找表(LUT)、边界框检测、通道合并分离等，用于特定应用需求。

具体函数：

3D LUT
BoundingBox
Channel Combine
Channel Extract
Compare
CompareS
InitUndistortRectifyMapInverse
ISP Stats
Kalman Filter
Laplacian Operator
Mean and Standard Deviation
Preprocessing for Deep Neural Networks
Pyramid Up
Pyramid Down
Quantization & Dithering
Reduce
Scharr Filter
Sobel Filter
Atan2
Inverse (Reciprocal)
Square Root

3. 总结

Vitis Vision 库为基于 FPGA 和 AI 引擎的计算机视觉应用提供了强大的支持。它通过一系列优化的内核，覆盖从基本的图像处理操作到高级的图像分析和特征检测。开发者可以利用这些内核来执行色彩转换、像素运算、几何变换等任务，同时享受硬件加速带来的性能优势。Vitis Vision 的设计允许开发者在保持与传统 C/C++ 程序兼容的同时，使用高性能的图像处理函数。这个库的多样性和灵活性使其成为在现代图像处理和机器视觉领域中不可或缺的工具，特别是在需要处理大量数据和实时性要求高的应用场景中。