软件版本:VIVADO2021.1
操作系统:WIN10 64bit
硬件平台:适用 XILINX A7/K7/Z7/ZU/KU 系列 FPGA
实验平台:米联客-MLK-H3-CZ08-7100开发板
板卡获取平台:https://milianke.tmall.com/
登录“米联客”FPGA社区 http://www.uisrc.com 视频课程、答疑解惑!
1概述米联客uifdma是基于AXI4总线接口开发的一种DMA数据管理IP,该IP可以统一视频数据、普通ADC数据、PLDDR接口和PSDDR接口,具有更加广泛的通用性。并且该IP是米联客对所有开发者开源的。 关于FEP-GPIO-CEPX3扩展卡介绍请阅读“附录1”。 关于OV5640摄像头介绍请阅读“附录1”。 关于VDMA IP的使用请阅读“附录2” 本文实验目的: 1:掌握ui-fdma和ui_fdmadbuf在视频采集方案的应用 2:掌握多个AXI-FDMA同时传输视频的同步解决方法 3:掌握uifdma_dbuf视频格式中Stride参数的使用 4:掌握uifdma_dbuf和VDMA之间如何进行帧同步,如何实现3帧图形缓存,确保图形不撕裂。 2系统框图
3硬件电路分析 硬件接口和子卡模块请阅读“附录1” 配套工程的FPGA PIN脚定义路径为soc_prj/uisrc/04_pin/ fpga_pin.xdc。 4搭建SOC系统工程
4.1PL图形化编程
上图中高亮部是FDMA的帧同步计数器,CAM0的帧同步计数器提供给CAM1使用。 另外,我们对CAM0和CAM1的IP在BD图像模块中做了层级封装,这样可以让复杂的BD图像设计,看起来更加简洁,如下图所示。
这个技巧如下,选中需要层级封装的IP,右击选择Create Hierarchy
1:CAM0中FDMA IP设置关键设置: 1`WBaseaddr 0x10000000 设置缓存的起始地址 2`WDsizebits 设置缓存的大小,2^23次方代表8MB大小 3`WBufsize 设置图像采用三缓存 4`WXsize设置行像素640 5`WXStride设置行Stride参数为1280,改参数用于2个视频在一个显存中显示 6`WYsize设置场像素为480
2:CAM1中FDMA IP设置1`WBaseaddr 0x1012CA00 设置缓存的起始地址,通过设置该地址可以让图像在指定的偏移位置显示 2`WDsizebits 设置缓存的大小,2^23次方代表8MB大小 3`WBufsize 设置图像采用三缓存 4`WXsize设置行像素640 5`WXStride设置行Stride参数为1280,改参数用于2个视频在一个显存中显示 6`WYsize设置场像素为480
3:多路视频同屏显示原理
为了把2个图像显示到1个显示器,首先得搞清楚以下关系: hsize:每1行图像实际在内存中占用的有效空间,以32bit表示一个像素的时候占用内存大小为hsize*4 hstride:用于设置每行图像第一个像素的地址,以32bit 表示一个像素的时候h_cnt* hstride*4 vsize:有效的行 因此很容易得出cam0的每行第一个像素的地址也是h_cnt* hstride*4 同理如果我们需要把cam1在hsize和vsize空间的任何位置显示,我们只要关心cam1每一行图像第一个像素的地址,可以用以下公式h_cnt* hstride*4+offset 比如我们这里背景输出到显示器的分辨率为1280*720,cam1的分辨率是640*480需要移动上图的右下脚,offset=(1280-640)*4*(720-480) 4:视频输出VDMA IP设置
以下设置视频输出VDMA为从模式,帧同步跟随主模式的CAM0/uifdma_dbuf
4.2设置地址分配以sccb方式初始化摄像头的地址空间截图
4.3添加PIN约束1:选中PROJECT MANAGERà Add SourcesàAdd or create constraints,添加XDC约束文件。
2:打开提供例程,复制约束文件中的管脚约束到XDC文件,或者查看原理图,自行添加管脚约束,并保存。 以下是添加配套工程路径下已经提供的pin脚文件。配套工程的pin脚约束文件在uisrc/04_pin路径 4.4编译并导出平台文件1:单击Block文件à右键àGenerate the Output ProductsàGlobalàGenerate。 2:单击Block文件à右键à Create a HDL wrapper(生成HDL顶层文件)àLet vivado manager wrapper and auto-update(自动更新)。 3:生成Bit文件。 4:导出到硬件: FileàExport HardwareàInclude bitstream 5:导出完成后,对应工程路径的soc_hw路径下有硬件平台文件:system_wrapper.xsa的文件。根据硬件平台文件system_wrapper.xsa来创建需要Platform平台。
5搭建Vitis-sdk工程创建soc_base sdk platform和APP工程的过程不再重复,如果不清楚请参考本章节第一个demo。 5.1创建SDK Platform工程
5.2创建camx2_5640 APP测试工程
6程序分析
6.1主程序分析
#include"xil_exception.h"
#include "xil_printf.h"
#include "xil_cache.h"
#include "vdma_pl.h"
#include "xgpio.h"
#include "sccb_iic.h"
#include "ov5640_cfg.h"
#define BUF_BASE_SIZE 0x08000000//DDR中基地址
#define BUF_RANG_SIZE 0x800000//每个FDMA缓存的地址偏移大小
#define BUF1_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*0//图像基地址1
#define BUF2_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*1//图像基地址2
#define BUF3_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*2//图像基地址3
#define VIDEO_OUT_HSIZE 1280*4//
#define VIDEO_OUT_STRIDE 1280*4
#define VIDEO_OUT_VSIZE 720
#define IMG_SIZE VIDEO_OUT_HSIZE*VIDEO_OUT_VSIZE
//#define VIDEO0_IN_HSIZE 640*4
//#define VIDEO0_IN_STRIDE 1280*4
//#define VIDEO0_IN_VSIZE 480
//#define VIDEO1_IN_HSIZE 640*4
//#define VIDEO1_IN_STRIDE 1280*4
//#define VIDEO1_IN_VSIZE 480
//#define VIDEO1_OFFSET (640+1280*240)*4
#define VIDEO_OUT_VDMA_ID XPAR_AXI_VDMA_0_DEVICE_ID
//u8 *CAM0_DBUF[IMG_SIZE];
//u8 *CAM1_DBUF[IMG_SIZE];
u8 *VIDEOOUT_DBUF[IMG_SIZE];
XGpio rstn_5640;
XGpio sscb_cam0;
XGpio sscb_cam1;
extern XAxiVdma video_out;
extern XAxiVdma_DmaSetup video_out_ReadCfg;
int main()
{
VIDEOOUT_DBUF[0] = (u8*)BUF1_ADDR;
VIDEOOUT_DBUF[1] = (u8*)BUF2_ADDR;
VIDEOOUT_DBUF[2] = (u8*)BUF3_ADDR;
memset(VIDEOOUT_DBUF[0], 0x00, IMG_SIZE);
memset(VIDEOOUT_DBUF[1], 0x00, IMG_SIZE);
memset(VIDEOOUT_DBUF[2], 0x00, IMG_SIZE);
Xil_DCacheFlushRange((INTPTR)VIDEOOUT_DBUF[0], IMG_SIZE);
Xil_DCacheFlushRange((INTPTR)VIDEOOUT_DBUF[1], IMG_SIZE);
Xil_DCacheFlushRange((INTPTR)VIDEOOUT_DBUF[2], IMG_SIZE);
XGpio_Initialize(&rstn_5640, XPAR_GPIO_RSTN_DEVICE_ID);
XGpio_SetDataDirection(&rstn_5640, 1, 0x0);
XGpio_DiscreteWrite(&rstn_5640, 1, 0x0);
sccb_gpio_init(&sscb_cam0,XPAR_CAM0_GPIO_SCCB_DEVICE_ID);
sccb_gpio_init(&sscb_cam1,XPAR_CAM1_GPIO_SCCB_DEVICE_ID);
ov5640_init(sscb_cam0,640,480,0x46,0x07);
ov5640_init(sscb_cam1,640,480,0x40,0x01);
video_out_ReadCfg.FrameStoreStartAddr[0] = (UINTPTR)VIDEOOUT_DBUF[0];
video_out_ReadCfg.FrameStoreStartAddr[1] = (UINTPTR)VIDEOOUT_DBUF[1];
video_out_ReadCfg.FrameStoreStartAddr[2] = (UINTPTR)VIDEOOUT_DBUF[2];
XGpio_DiscreteWrite(&rstn_5640, 1, 0x1);
Video_Out_MM2SSetup(VIDEO_OUT_VDMA_ID, &video_out, video_out_ReadCfg , VIDEO_OUT_VSIZE , VIDEO_OUT_HSIZE ,
VIDEO_OUT_STRIDE);
XAxiVdma_DmaStart(&video_out, XAXIVDMA_READ);
while(1);
return XST_SUCCESS;
}
|
由于采用uifdma_dbuf的参数实在PL图形化设计中配置好的,因此,在PS部分的代码非常简单。 6.2:OV5640的镜像参数本文中的摄像头模块采用了最新的FEP-CEPX3-CARD模块,该模块2个摄像头是对称放置,为了让2个图像都是同一方向,需要把其中的一路图像设置镜像 ov5640_init(sscb_cam0,640,480,0x46,0x07); ov5640_init(sscb_cam1,640,480,0x40,0x01);
我们可以简单了解下OV5640和镜像相关的2个寄存器:
以看出来,只是两个寄存器:0x3820控制上下翻转,0x3821控制左右翻转。 7双目采集方案演示
7.1硬件准备需要注意这里的 MLK-H3-CZ08-7100FC,扩展卡默认使用 1.8V IO 配的也是 1.8V 的子卡和摄像头
7.2实验结果
本方案路径下也提供了开发板自带的 CEP 接口摄像头采集的 demo
|