Zynq系列FPGA实现SDI视频编解码+图像缩放+多路视频拼接,基于GTX高速接口,提供8套工程源码和技术支持

目录

  • 1、前言
    • 工程概述
    • 免责声明
  • 2、相关方案推荐
    • 本博已有的 SDI 编解码方案
    • 本博已有的FPGA图像缩放方案
    • 本方案的无缩放应用
    • 本方案在Xilinx--Kintex系列FPGA上的应用
  • 3、详细设计方案
    • 设计原理框图
    • SDI 输入设备
    • Gv8601a 均衡器
    • GTX 解串与串化
    • SMPTE SD/HD/3G SDI IP核
    • BT1120转RGB
    • 自研HLS图像缩放详解
    • VDMA图像缓存
    • Video Mixer 多路视频拼接详解
    • HDMI视频输出架构
    • SDI视频输出架构之-->RGB转BT1120
    • SDI视频输出架构之-->SMPTE SD/HD/3G SDI + GTX
    • SDI视频输出架构之-->Gv8500 驱动器
    • SDI视频输出架构之-->SDI转HDMI盒子
    • 工程源码架构之-->逻辑设计
    • 工程源码架构之-->SDK软件设计
  • 4、工程源码1详解-->2路视频缩放拼接,HDMI输出版本
  • 5、工程源码2详解-->4路视频缩放拼接,HDMI输出版本
  • 6、工程源码3详解-->8路视频缩放拼接,HDMI输出版本
  • 7、工程源码4详解-->16路视频缩放拼接,HDMI输出版本
  • 8、工程源码5详解-->2路视频缩放拼接,3G-SDI输出版本
  • 9、工程源码6详解-->4路视频缩放拼接,3G-SDI输出版本
  • 10、工程源码7详解-->8路视频缩放拼接,3G-SDI输出版本
  • 11、工程源码8详解-->16路视频缩放拼接,3G-SDI输出版本
  • 12、工程移植说明
    • vivado版本不一致处理
    • FPGA型号不一致处理
    • 其他注意事项
  • 13、上板调试验证
    • 准备工作
    • 2路SDI视频缩放拼接-->输出视频演示
    • 4路SDI视频缩放拼接-->输出视频演示
    • 8路SDI视频缩放拼接-->输出视频演示
    • 16路SDI视频缩放拼接-->输出视频演示
  • 14、福利:工程代码的获取

Zynq系列FPGA实现SDI视频编解码+图像缩放+多路视频拼接,基于GTX高速接口,提供8套工程源码和技术支持

1、前言

目前FPGA实现SDI视频编解码有两种方案:一是使用专用编解码芯片,比如典型的接收器GS2971,发送器GS2972,优点是简单,比如GS2971接收器直接将SDI解码为并行的YCrCb422,GS2972发送器直接将并行的YCrCb422编码为SDI视频,缺点是成本较高,可以百度一下GS2971和GS2972的价格;另一种方案是使用FPGA逻辑资源部实现SDI编解码,利用Xilinx系列FPGA的GTP/GTX资源实现解串,利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码,优点是合理利用了FPGA资源,GTP/GTX资源不用白不用,缺点是操作难度大一些,对FPGA开发者的技术水平要求较高。有意思的是,这两种方案在本博这里都有对应的解决方案,包括硬件的FPGA开发板、工程源码等等。

工程概述

本设计基于Zynq系列的Zynq7100 FPGA开发板实现SDI视频编解码+图像缩放+多路视频拼接,输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,也可以使用HD-SDI或者SD-SDI相机,因为本设计是三种SDI视频自适应的;另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机;两路输入SDI视频通过同轴线连接到FPGA开发板的BNC座子,然后同轴视频经过板载的Gv8601a芯片实现单端转差分和均衡EQ的功能;然后差分SDI视频信号进入FPGA内部的GTX高速资源,实现数据高速串行到并行的转换,本博称之为解串;解串后的并行视频再送入Xilinx系列FPGA特有的SMPTE SD/HD/3G SDI IP核,进行SDI视频解码操作并输出BT1120视频,至此,SDI视频解码操作已经完成,可以进行常规的图像处理操作了;

本设计的目的是做图像缩放+多路视频拼接后输出解码的SDI视频,针对目前市面上的主流项目需求,本博设计了两种输出方式,一种是HDMI输出,另一种是3G-SDI输出,这两种方式都需要对解码BT1120视频进行转RGB和图像缓存操作和图像缩放操作;图像缩放方案采用自研的HLS方案;本设计使用BT1120转RGB模块实现视频格式转换;使用自研的HLS图像缩放模块实现对输入视频的图像缩放操作;使用本Xilinx官方的VDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的PS端DDR3;图像从DDR3读出后,进入Xilinx官方的Video Mixer IP核实现多路视频拼接操作;然后送入HDMI发送模块输出HDMI显示器,这是HDMI输出方式;或者经过RGB转BT1120模块实现视频格式转换,然后视频进入SMPTE SD/HD/3G SDI IP核,进行SDI视频编码操作并输出SDI视频,再经过FPGA内部的GTX高速资源,实现并行数据到高速串行的转换,本博称之为串化,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,通过同轴线连接到SDI转HDMI盒子连接到HDMI显示器,这是SDI输出方式;本博客提供8套工程源码,具体如下:
在这里插入图片描述
现对上述8套工程源码做如下解释,方便读者理解:

工程源码1

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;再经过2路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为960x540;再经过Xilinx官方的2路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现2路视频拼接操作;然后将拼接视频送入RGB转HDMI模块,将RGB888视频转换为HDMI视频,输出分辨率为1920x1080@60Hz背景下叠加显示2路960x540的有效图像,即2分屏,详细显示效果请看文章末尾的输出演示视频;最后通过HDMI显示器显示图像;该工程需要运行Zynq软核;适用于SDI视频拼接转HDMI场景;

工程源码2

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;然后将2路视频分别复制1份得到4路视频,以模拟4路输入(如果你的开发板有4路输入,则无需此操作);再经过4路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为960x540;再经过Xilinx官方的4路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现4路视频拼接操作;然后将拼接视频送入RGB转HDMI模块,将RGB888视频转换为HDMI视频,输出分辨率为1920x1080@60Hz背景下叠加显示4路960x540的有效图像,即4分屏,详细显示效果请看文章末尾的输出演示视频;最后通过HDMI显示器显示图像;该工程需要运行Zynq软核;适用于SDI视频拼接转HDMI场景;

工程源码3

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;然后将2路视频分别复制3份得到8路视频,以模拟8路输入(如果你的开发板有8路输入,则无需此操作);再经过8路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为480x540;再经过Xilinx官方的8路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现8路视频拼接操作;然后将拼接视频送入RGB转HDMI模块,将RGB888视频转换为HDMI视频,输出分辨率为1920x1080@60Hz背景下叠加显示8路480x540的有效图像,即8分屏,详细显示效果请看文章末尾的输出演示视频;最后通过HDMI显示器显示图像;该工程需要运行Zynq软核;适用于SDI视频拼接转HDMI场景;

工程源码4

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;然后将2路视频分别复制7份得到16路视频,以模拟16路输入(如果你的开发板有16路输入,则无需此操作);再经过16路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为240x540;再经过Xilinx官方的16路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现16路视频拼接操作;然后将拼接视频送入RGB转HDMI模块,将RGB888视频转换为HDMI视频,输出分辨率为1920x1080@60Hz背景下叠加显示16路240x540的有效图像,即16分屏,详细显示效果请看文章末尾的输出演示视频;最后通过HDMI显示器显示图像;该工程需要运行Zynq软核;适用于SDI视频拼接转HDMI场景;

工程源码5

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;再经过2路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为960x540;再经过Xilinx官方的2路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现2路视频拼接操作;然后将视频送RGB转BT1120模块,将RGB888视频转换为BT1120视频;再经过SMPTE SD/HD/3G SDI IP核,将BT1120视频编码为SDI视频;再经过FPGA内部的GTX高速资源,将SDI并行数据转换为高速串行信号;再经过板载的Gv8500芯片实现差分转单端和驱动增强后输出,输出分辨率为1920x1080@60Hz背景下叠加显示2路960x540的有效图像,即2分屏,最后使用SDI转HDMI盒子连接到HDMI显示器显示;详细显示效果请看文章末尾的输出演示视频;该工程需要运行Zynq软核;适用于SDI视频拼接转SDI场景;

工程源码6

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;然后将2路视频分别复制1份得到4路视频,以模拟4路输入(如果你的开发板有4路输入,则无需此操作);再经过4路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为960x540;再经过Xilinx官方的4路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现4路视频拼接操作;然后将视频送RGB转BT1120模块,将RGB888视频转换为BT1120视频;再经过SMPTE SD/HD/3G SDI IP核,将BT1120视频编码为SDI视频;再经过FPGA内部的GTX高速资源,将SDI并行数据转换为高速串行信号;再经过板载的Gv8500芯片实现差分转单端和驱动增强后输出,输出分辨率为1920x1080@60Hz背景下叠加显示4路960x540的有效图像,即4分屏,最后使用SDI转HDMI盒子连接到HDMI显示器显示;详细显示效果请看文章末尾的输出演示视频;该工程需要运行Zynq软核;适用于SDI视频拼接转SDI场景;

工程源码7

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;然后将2路视频分别复制3份得到8路视频,以模拟8路输入(如果你的开发板有8路输入,则无需此操作);再经过8路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为480x540;再经过Xilinx官方的8路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现8路视频拼接操作;然后将视频送RGB转BT1120模块,将RGB888视频转换为BT1120视频;再经过SMPTE SD/HD/3G SDI IP核,将BT1120视频编码为SDI视频;再经过FPGA内部的GTX高速资源,将SDI并行数据转换为高速串行信号;再经过板载的Gv8500芯片实现差分转单端和驱动增强后输出,输出分辨率为1920x1080@60Hz背景下叠加显示8路480x540的有效图像,即8分屏,最后使用SDI转HDMI盒子连接到HDMI显示器显示;详细显示效果请看文章末尾的输出演示视频;该工程需要运行Zynq软核;适用于SDI视频拼接转SDI场景;

工程源码8

开发板FPGA型号为Xilinx–>Xilinx-Zynq7100–xc7z100ffg900-2;输入源有两个,一个是3G-SDI相机,分辨率为1920x1080@60Hz,另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机,分辨率为1920x1080@60Hz;两路输入视频经过板载的2个Gv8601a芯片实现单端转差分和均衡EQ后送入FPGA;再经过2路GTX将SDI视频解串为并行数据;再经过2路SMPTE SDI IP核将SDI解码为2路BT1120数据;再经过2路BT1120转RGB模块将BT1120转换为RGB888视频;然后将2路视频分别复制7份得到16路视频,以模拟16路输入(如果你的开发板有16路输入,则无需此操作);再经过16路自研的纯verilog实现的、支持任意比例缩放的图像缩放模块,将输入视频由1920x1080缩放为240x540;再经过Xilinx官方的16路VDMA图像缓存方案将视频写入PS侧DDR3做三帧缓存;然后调用Xilinx官方的Video Mixer IP核实现16路视频拼接操作;然后将视频送RGB转BT1120模块,将RGB888视频转换为BT1120视频;再经过SMPTE SD/HD/3G SDI IP核,将BT1120视频编码为SDI视频;再经过FPGA内部的GTX高速资源,将SDI并行数据转换为高速串行信号;再经过板载的Gv8500芯片实现差分转单端和驱动增强后输出,输出分辨率为1920x1080@60Hz背景下叠加显示16路240x540的有效图像,即16分屏,最后使用SDI转HDMI盒子连接到HDMI显示器显示;详细显示效果请看文章末尾的输出演示视频;该工程需要运行Zynq软核;适用于SDI视频拼接转SDI场景;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

本博已有的 SDI 编解码方案

我的博客主页开设有SDI视频专栏,里面全是FPGA编解码SDI的工程源码及博客介绍;既有基于GS2971/GS2972的SDI编解码,也有基于GTP/GTX资源的SDI编解码;既有HD-SDI、3G-SDI,也有6G-SDI、12G-SDI等;专栏地址链接如下:
点击直接前往

本博已有的FPGA图像缩放方案

我的主页目前有FPGA图像缩放专栏,改专栏收录了我目前手里已有的FPGA图像缩放方案,从实现方式分类有基于HSL实现的图像缩放、基于纯verilog代码实现的图像缩放;从应用上分为单路视频图像缩放、多路视频图像缩放、多路视频图像缩放拼接;从输入视频分类可分为OV5640摄像头视频缩放、SDI视频缩放、MIPI视频缩放等等;以下是专栏地址:
点击直接前往

本方案的无缩放应用

本方案有无缩放版本的应用,只做SDI视频编解码,之前专门写过一篇博客,博客地址链接如下:
点击直接前往

本方案在Xilinx–Kintex系列FPGA上的应用

本方案在Xilinx–Kintex系列FPGA上的也有应用,之前专门写过一篇博客,博客地址链接如下:
点击直接前往

3、详细设计方案

设计原理框图

设计原理框图如下:
在这里插入图片描述
注意!!!!
注意!!!!
紫色箭头:3G-SDI输出路径
红色箭头:HDMI输出路径

SDI 输入设备

SDI 输入设备有两个,分别接入FPGA开发板的2路SDI视频输入接口;一个是3G-SDI相机,分辨率为1920x1080@60Hz,也可以使用HD-SDI或者SD-SDI相机,因为本设计是三种SDI视频自适应的;另一个HDMI转3G-SDI盒子,盒子外接笔记本电脑以模拟SDI相机;SDI相机相对比较贵,预算有限的朋友可以考虑用HDMI转SDI盒子模拟SDI相机,这种盒子某宝一百块左右;当使用HDMI转SDI盒子时,输入源可以用笔记本电脑,即用笔记本电脑通过HDMI线连接到HDMI转SDI盒子的HDMI输入接口,再用SDI线连接HDMI转SDI盒子的SDI输出接口到FPGA开发板,如下:
在这里插入图片描述

Gv8601a 均衡器

Gv8601a芯片实现单端转差分和均衡EQ的功能,这里选用Gv8601a是因为借鉴了了Xilinx官方的方案,当然也可以用其他型号器件。Gv8601a均衡器原理图如下:
在这里插入图片描述

GTX 解串与串化

本设计使用Xilinx特有的GTX高速信号处理资源实现SDI差分视频信号的解串与串化,对于SDI视频接收而言,GTX起到解串的作用,即将输入的高速串行的差分信号解为并行的数字信号;对于SDI视频发送而言,GTX起到串化的作用,即将输入的并行的数字信号串化为高速串行的差分信号;GTX的使用一般需要例化GTX IP核,通过vivado的UI界面进行配置,但本设计需要对SD-SDI、HD-SDI、3G-SDI视频进行自动识别和自适应处理,所以需要使得GTX具有动态改变线速率的功能,该功能可通过DRP接口配置,也可通过GTX的rate接口配置,所以不能使用vivado的UI界面进行配置,而是直接例化GTX的GTXE2_CHANNEL和GTXE2_COMMON源语直接使用GTX资源;此外,为了动态配置GTX线速率,还需要GTX控制模块,该模块参考了Xilinx的官方设计方案,具有动态监测SDI模式,动态配置DRP等功能;该方案参考了Xilinx官方的设计;GTX 解串与串化模块代码架构如下:
在这里插入图片描述

SMPTE SD/HD/3G SDI IP核

SMPTE SD/HD/3G SDI IP核是Xilinx系列FPGA特有的用于SDI视频编解码的IP,该IP配置使用非常简单,vivado的UI界面如下:
在这里插入图片描述
SMPTE SD/HD/3G SDI IP核必须与GTX配合才能使用,对于SDI视频接收而言,该IP接收来自于GTX的数据,然后将SDI视频解码为BT1120视频输出,对于SDI视频发送而言,该IP接收来自于用户侧的的BT1120视频数据,然后将BT1120视频编码为SDI视频输出;该方案参考了Xilinx官方的设计;SMPTE SD/HD/3G SDI IP核代码架构如下:
在这里插入图片描述

BT1120转RGB

BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频,它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:
在这里插入图片描述
BT1120转RGB后调用Xilinx官方的Video In To AXI4-Stream IP核实现Native视频到AXI4-Stream视频流的转换,该IP不需要SDK软件配置;

自研HLS图像缩放详解

本设计的图像缩放采用HLS方案C++代码实现,并综合成RTL后封装为IP,可在vivado中调用该IP,关于这个方案详情,请参考我之前的博客,博客链接如下:
点击直接前往
自研HLS图像缩放优点如下:
1:采用HLS实现,C++代码量很小,核心代码仅3行,并以综合成RTL代码后封装为自定义IP,方便在vivado中调用;
2:采用双线性插值算法,可实现任意比例、任意尺寸缩放,灵活性可谓天花板级别;
3:驱动简单、使用方便,提供SDK驱动程序,在主函数中调用API直接实现缩放操作;
自研HLS图像缩放缺点如下:
1:只适用于Xilinx Zynq系列FPGA,需要其他Xilinx 系列FPGA使用则需要找博主定制,需要修改HLS工程中的FPGA型号,然后重新综合编译封装成IP才能在新的FPGA中使用;
2:只适用于vivado2019.1及其以下版本,从vivado2019.2版本开始,已不能使用其以下版本的HLS IP核,这是Xilinx官方的问题;
该IP在vivado中的综合资源占用情况如下:
在这里插入图片描述
HLS图像缩放需要在SDK中运行驱动和用户程序才能正常工作,我在工程中给出了C语言程序,具体参考工程源码;以工程源码1为例,HLS图像缩放在Block Design设计如下图:
在这里插入图片描述

VDMA图像缓存

本设计的视频缓存方案采用Xilinx官方的的VDMA图像缓存架构;缓存介质为PS端DDR3;以工程源码1为例,VDMA使用Xilinx vivado的Block Design设计,如下图:
在这里插入图片描述
为了降低延时,VDMA设置为缓存1帧,如下:
在这里插入图片描述

Video Mixer 多路视频拼接详解

这里重点介绍一下Xilinx官方的Video Mixer IP;
支持最大分辨率:8K,即可以处理高达8K的视频;
支持最多16层视频拼接叠加,即最多可拼接16路视频;
输入视频格式:AXI4-Stream;
输出视频格式:AXI4-Stream;
需要SDK软件配置,其本质为通过AXI_Lite 做寄存器配置;
提供自定义的配置API,通过调用该库函数即可轻松使用,具体参考SDK代码;
模块占用的FPGA逻辑资源更小,相比于自己写的HLS视频拼接而言,官方的Video Mixer资源占用大约减小30%左右,且更高效:以工程源码1的2路视频拼接为例,Video Mixer逻辑资源如下,请谨慎评估你的FPGA资源情况;
在这里插入图片描述
关于这个Video Mixer视频拼接方案详情,请参考我之前的博客,博客链接如下:
点击直接前往

以工程源码1为例,Video Mixer使用Xilinx vivado的Block Design设计,如下图:
在这里插入图片描述

HDMI视频输出架构

HDMI视频输出架构如下:
在这里插入图片描述
参考Xilinx官方设计,使用VTC+AXI4-Stream To Video Out架构实现输出视频从AXI4-Stream到Native格式的转换;然后使用纯verilog代码实现的RGB888转HDMI模块实现RGB888到HDMI的转换,最后通过显示器显示,RGB888转HDMI模块代码架构如下:
在这里插入图片描述
关于RGB888转HDMI模块,请参考我之前的博客,博客地址:点击直接前往

SDI视频输出架构之–>RGB转BT1120

SDI视频输出架构首先要实现VDMA读出的AXI4-Stream到Native格式的转换,得到RGB888视频后再通过RGB转BT1120实现到BT1120视频的转换,其架构如下:
在这里插入图片描述
在SDI输出方式下VGA时序模块的像素时钟由SMPTE SD/HD/3G SDI IP核的发送用户时钟提供,在不同的SDI模式下像素时钟不同,比如在3G-SDI模式下像素时钟为148.5M,在HD-SDI的720P@60Hz模式下像素时钟为74.25M;

在SDI输出方式下需要使用RGB转BT1120模块;RGB转BT1200模块的作用是将用户侧的RGB视频转换为BT1200视频输出给SMPTE SD/HD/3G SDI IP核;RGB转BT1120模块由RGB888转YUV444模块、YUV444转YUV422模块、SDI视频编码模块、数据嵌入模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:
在这里插入图片描述

SDI视频输出架构之–>SMPTE SD/HD/3G SDI + GTX

这两部分与接收过程公用相应模块,功能上是接收过程的逆过程,不再赘述;

SDI视频输出架构之–>Gv8500 驱动器

Gv8500芯片实现差分转单端和增强驱动的功能,这里选用Gv8500是因为借鉴了了Xilinx官方的方案,当然也可以用其他型号器件。Gv8500驱动器原理图如下:
在这里插入图片描述

SDI视频输出架构之–>SDI转HDMI盒子

在SDI输出方式下需要使用到SDI转HDMI盒子,因为我手里的显示器没有SDI接口,只有HDMI接口,为了显示SDI视频,只能这么做,当然,如果你的显示器有SDI接口,则可直接连接显示,我的SDI转HDMI盒子在某宝购买,不到100块;

工程源码架构之–>逻辑设计

本博客提供8套工程源码,以工程源码1为例,vivado Block Design设计如下,其他工程与之类似,Block Design设计如下:
在这里插入图片描述
以工程源码1为例,工程源码架构如下,其他工程与之类似:
在这里插入图片描述

工程源码架构之–>SDK软件设计

本设计工程的PL端时钟由Zynq软核提供,所以需要运行运行SDK以启动Zynq,此外,HLS图像缩放、VDMA、Video Mixer等IP核都需要运行软件驱动才能正常工作,所以,以工程源码1的2路视频拼接为例,SDK软件代码架构如下,其他工程与之类似:
在这里插入图片描述

4、工程源码1详解–>2路视频缩放拼接,HDMI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz;
输出:HDMI ,1920x1080@60Hz背景下叠加显示2路拼接的960x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到960x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:2路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

5、工程源码2详解–>4路视频缩放拼接,HDMI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz,然后复制1份,得到2路;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz,然后复制1份,得到2路;
输出:HDMI ,1920x1080@60Hz背景下叠加显示4路拼接的960x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到960x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:4路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

6、工程源码3详解–>8路视频缩放拼接,HDMI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz,然后复制3份,得到4路;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz,然后复制3份,得到4路;
输出:HDMI ,1920x1080@60Hz背景下叠加显示8路拼接的480x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到480x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:8路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

7、工程源码4详解–>16路视频缩放拼接,HDMI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz,然后复制7份,得到8路;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz,然后复制7份,得到8路;
输出:HDMI ,1920x1080@60Hz背景下叠加显示16路拼接的240x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到240x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:16路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

8、工程源码5详解–>2路视频缩放拼接,3G-SDI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz;
输出:3G-SDI,1920x1080@60Hz背景下叠加显示2路拼接的960x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到960x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:2路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

9、工程源码6详解–>4路视频缩放拼接,3G-SDI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz,然后复制1份,得到2路;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz,然后复制1份,得到2路;
输出:3G-SDI,1920x1080@60Hz背景下叠加显示4路拼接的960x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到960x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:4路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

10、工程源码7详解–>8路视频缩放拼接,3G-SDI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz,然后复制3份,得到4路;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz,然后复制3份,得到4路;
输出:3G-SDI,1920x1080@60Hz背景下叠加显示8路拼接的480x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到480x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:8路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

11、工程源码8详解–>16路视频缩放拼接,3G-SDI输出版本

开发板FPGA型号:Xilinx-Zynq7100–xc7z100ffg900-2;
开发环境:Vivado2019.1;
输入1:3G-SDI相机,分辨率1920x1080@60Hz,然后复制7份,得到8路;
输入2:HDMI转SDI盒子(外接笔记本电脑),分辨率1920x1080@60Hz,然后复制7份,得到8路;
输出:3G-SDI,1920x1080@60Hz背景下叠加显示16路拼接的240x540的有效图像;
图像缩放方案:自研HLS图像缩放;
图像缩放实例:1920x1080缩放到240x540;
图像缓存方案:Xilinx官方VDMA方案;
图像缓存介质:PS端DDR3;
视频拼接方案:Xilinx官方Video Mixer方案;
视频拼接应用:16路视频拼接;
工程作用:此工程目的是让读者掌握Zynq系列FPGA实现SDI拼接转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

12、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
在这里插入图片描述
3:如果你的vivado版本高于本工程vivado版本,解决如下:
在这里插入图片描述
打开工程后会发现IP都被锁住了,如下:
在这里插入图片描述
此时需要升级IP,操作如下:
在这里插入图片描述
在这里插入图片描述

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

13、上板调试验证

准备工作

需要准备的器材如下:
FPGA开发板;
SDI摄像头和HDMI转SDI盒子;
SDI转HDMI盒子;
HDMI显示器;
我的开发板了连接如下:
在这里插入图片描述

2路SDI视频缩放拼接–>输出视频演示

2路SDI视频缩放拼接,输出如下:

Zynq-SDI-2路视频拼接

4路SDI视频缩放拼接–>输出视频演示

4路SDI视频缩放拼接,输出如下:

Zynq-SDI-4路视频拼接

8路SDI视频缩放拼接–>输出视频演示

8路SDI视频缩放拼接,输出如下:

Zynq-SDI-8路视频拼接

16路SDI视频缩放拼接–>输出视频演示

16路SDI视频缩放拼接,输出如下:

Zynq-SDI-16路视频拼接

14、福利:工程代码的获取

福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
在这里插入图片描述
此外,有很多朋友给本博主提了很多意见和建议,希望能丰富服务内容和选项,因为不同朋友的需求不一样,所以本博主还提供以下服务:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/790351.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

27. 738.单调递增的数字,968.监控二叉树,贪心算法总结

class Solution { public:int monotoneIncreasingDigits(int n) {string strNum to_string(n);// flag用来标记赋值9从哪里开始// 设置为这个默认值,为了防止第二个for循环在flag没有被赋值的情况下执行int flag strNum.size();for(int i strNum.size() - 1; i &…

前端html面试常见问题

前端html面试常见问题 1. !DOCTYPE (文档类型)的作用2. meta标签3. 对 HTML 语义化 的理解?语义元素有哪些?语义化的优点4. HTML中 title 、alt 属性的区别5. src、href 、url 之间的区别6. script标签中的 async、defer 的区别7. 行内元素、块级元素、空…

便宜SSL证书有哪些平台推荐 域名SSL证书作用

在数字化时代,网络安全已成为我们日常生活和工作中不可或缺的一部分。 申请便宜SSL证书步骤 1、登录来此加密网站,输入域名,可以勾选泛域名和包含根域。 2、选择加密方式,一般选择默认就可以了,也可以自定义CSR。 3…

【短小精悍】仅需6GB显存,你就可以跑起来清华智谱的ChatGLM-6B-Int4大模型

【短小精悍】仅需6GB显存,你就可以跑起来清华智谱的ChatGLM-6B-Int4大模型 版本环境一、序二、ChatGLM-6B-Int4大模型2.1 简介2.2 模型 三、运行环境3.1 下载模型3.2 下载环境3.3 下载代码 四、运行4.1 运行代码4.2 运行结果4.3 GPU使用情况 五、相关问题5.1 window…

绝区捌--将GPT幻觉的发生率从20%以上降低到2%以下

总结:我们没有使用微调,而是结合使用提示链和预处理/后处理来将幻觉发生率降低一个数量级,但这确实需要对 OpenAI 进行 3-4 倍的调用。还有很大的改进空间! 使用 GPT 等大型语言模型面临的最大挑战之一是它们倾向于捏造信息。 这…

Phospho:LLM应用的文本分析利器

今天向大家介绍phospho文本分析平台,专门为大型语言模型(LLM)应用程序设计。它可以帮助开发者从用户或应用程序的文本消息中检测问题、提取洞见、收集用户反馈,并衡量成功。作为一个开源项目,phospho允许开发者查看和修…

Chat2DB:AI引领下的全链路数据库管理新纪元

一、引言 随着数据驱动决策成为现代企业和组织的核心竞争力,数据库管理工具的重要性日益凸显。然而,传统的数据库管理工具往往存在操作复杂、功能单一、不支持多类型数据库管理等问题,限制了数据的有效利用。为了打破这一局面,Ch…

致远漏洞(登陆绕过+任意文件上传)

漏洞复现 1.获得cookie POST /seeyon/thirdpartyController.do HTTP/1.1 Host: 192.168.1.9 User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0 Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8 Accept-Langua…

迂回战术:“另类“全新安装 macOS 15 Sequoia beta2 的极简方法

概述 随着 WWDC 24 的胜利闭幕,Apple 平台上各种 beta 版的系统也都“跃跃欲出”,在 mac 上自然也不例外。 本次全新的 macOS 15 Sequoia(红杉)包含了诸多重磅升级,作为秃头开发者的我们怎么能不先睹为快呢&#xff1…

c++:面向对象的继承特性

什么是继承 (1)继承是C源生支持的一种语法特性,是C面向对象的一种表现 (2)继承特性可以让派生类“瞬间”拥有基类的所有(当然还得考虑权限)属性和方法 (3)继承特性本质上是为了代码复用 (4)类在C编译器的内部可以理解为结构体,派…

机器学习(五) -- 监督学习(7) --SVM1

系列文章目录及链接 上篇:机器学习(五) -- 监督学习(6) --逻辑回归 下篇: 前言 tips:标题前有“***”的内容为补充内容,是给好奇心重的宝宝看的,可自行跳过。文章内容被…

【进阶篇-Day7:JAVA中Date、LocalDate等时间API的介绍】

目录 1、概述2、JDK8(-) 时间类2.1 Date类:(1)构造方法:(2)常用成员方法: 2.2 SimpleDateFormat类:2.3 总结:2.4 Calendar类介绍: 3、JDK8() 时间类3.1 日历类…

案例开发-日程管理-第一期

九 案例开发-日程管理-第一期 共7期 9.1 登录页及校验 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title</title><style>.ht{text-align: center;color: cadetblue;font-family: 幼…

多GPU系统中的CUDA设备不可用问题

我们在使用多GPU系统时遇到了CUDA设备不可用的问题&#xff0c;详细情况如下&#xff1a; 问题描述&#xff1a; 我们在一台配备有8块NVIDIA GeForce RTX 3090显卡的服务器上运行CUDA程序时&#xff0c;遇到了如下错误&#xff1a; cudaErrorDevicesUnavailable: CUDA-capabl…

【数据结构——链表的深度探索】从实现到应用,保姆级攻略

【数据结构——链表深度探索】从实现到应用&#xff0c;保姆级攻略 &#x1f341;1. 链表的介绍&#x1f341;2. 链表的实现&#x1f341;2.1 单向链表&#x1f341;2.1.1 size()&#x1f341;2.1.2 display()&#x1f341;2.1.3 contains(int key)&#x1f341;2.1.4 addFirst…

centOS79中安装jdk18

##red## &#x1f534; 大家好&#xff0c;我是雄雄&#xff0c;欢迎关注微信公众号&#xff0c;雄雄的小课堂。 前言 在centos7.9中安装jdk1.8很简单&#xff0c;就一条命令即可。 安装命令 yum -y install java-1.8.0-openjdk然后回车就行。 然后我们来运行一下看看是否安装…

玩转HarmonyOS NEXT之组件导航与路由跳转一

组件导航 (Navigation) Navigation是路由容器组件&#xff0c;一般作为首页的根容器&#xff0c;包括单栏(Stack)、分栏(Split)和自适应(Auto)三种显示模式。Navigation组件适用于模块内和跨模块的路由切换&#xff0c;一次开发&#xff0c;多端部署场景。通过组件级路由能力实…

【多线程】线程同步--条件变量的原理及其使用

文章目录 前言线程同步的基本概念条件变量定义条件变量初始化条件变量销毁条件变量等待条件&#xff08;重要&#xff09;唤醒等待简单运用常见使用条件变量的格式 前言 线程同步意味着在多线程并发执行中&#xff0c;协调线程之间的执行顺序&#xff0c;以确保共享资源被正确…

本地部署,图片细节处理大模型Tile Controlnet

目录 什么是 Tile ControlNet&#xff1f; 工作原理 应用场景 优势与挑战 优势 挑战 本地部署 运行结果 未来展望 结论 Tip&#xff1a; 在近年来的深度学习和计算机视觉领域&#xff0c;生成对抗网络&#xff08;GAN&#xff09;和扩散模型等技术取得了显著的进展。…

Everything搜索无法搜索到桌面的文件(无法检索C盘 或 特定路径的文件)

现象描述 在Everything搜索框中输入桌面已存在的文件或随便已知位置的文件&#xff0c;无法找到。 搜索时检索结果中明显缺少部分磁盘位置的&#xff0c;例如无法检索C盘&#xff0c;任意关键字搜索时结果中没有位于C盘的&#xff0c;无论怎样都搜不到C盘文件。 解决方法 在…