基于FPGA和MIPI CSI-2的双摄像头图像采集系统设计

作     者：陈锐弦 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：张艺蒙;窦亮亮

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：FPGA MIPI CSI-2 双摄像头图像采集系统 UVM验证 

摘      要：随着我国在现代医疗建设、人工智能、交通监控、城市管理、科研教学等领域的不断发展,人们对获取高质量图像数据的需求在不断提高,尤其是以卷积神经网络为代表的深度学习领域,需要完成大量实时图像的数据传输。例如,传输1920×1080 25fps的图像,要求系统的传输速率高达1.159 Gbps。使用传统并行总线进行传输的图像采集系统,当时钟频率较高时,并行信号线之间的相互干扰增大,难以实现数据的高速化传输。同时,并行总线随着传输数据位宽的增加,需占用更多芯片的管脚以及板上布线面积,这会导致开发成本的增加。因此,并行总线已无法满足当前的设计需求。采用可见光单摄像头的图像采集系统虽然具有较高的分辨率,且对图像的描述更为具体,但成像质量易受外部光照条件的影响,对周围环境的适应能力较弱;采用红外单摄像头的图像采集系统成像虽然不受外部光照的影响,且对热目标物具有良好的成像效果,但是由于其分辨率较低,清晰度不高导致应用范围受限。因此,研究一种将可见光与红外图像采集,融合与输出的方法,得到目标明显,背景清晰和视觉效果突出的融合图像,并设计一款高性能,适用性广的图像采集系统具有重要的意义。本文的研究目的是设计一款适用于FPGA平台的图像采集系统,该系统具备对可见光图像与红外图像的采集,融合与传输能力,确保系统能够在各种环境下保持良好的运行性能。此外,系统支持对图像数据进行YUV转换RGB格式以兼容不同的使用需求。经过采集,处理和转换后的图像数据将通过系统总线进行输出,其格式和时序需要满足系统总线的要求与规范,因此在图像采集系统的设计中还包含有与图像数据发送相关的系统总线主机模块设计。设计方法如下:选择DALSA公司的FTT1010M CCD摄像头和Sofradir公司的Snake SW Tecless红外探测器分别作为可见光与红外摄像头,为系统提供源图像数据,采用外置的MIPI D-PHY控制子卡作为数据接收的物理层,对物理层输出的图像数据进行分析和处理,并按照MIPI CSI-2协议的规定对接收摄像头图像数据的模块进行数字部分的设计,借助FPGA开发板上的资源,实现系统的开发。设计成果与结论:使用EDA工具对代码进行设计与仿真,构建UVM验证环境,对代码进行功能检查与验证,并在FPGA平台上对设计代码进行仿真与测试。结果显示,该系统支持1920×1080分辨率的融合图像进行30 fps帧率传输。通过UVM验证,整体覆盖率得分达93%以上。同时,通过在FPGA开发板进行实验与测试,得出查找表资源占用率为4.50%;寄存器资源占用率为6.57%;BRAM资源占用率为11.31%。系统的动态功耗为0.566 W,FPGA总静态功耗为1.793 W。