基于ZYNQ的双目立体视觉系统设计

作     者：张宏宇 

作者单位：中北大学 

学位级别：硕士

导师姓名：焦新泉

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：双目立体视觉 双目校正 半全局匹配 ZYNQ 

摘      要：近年来,计算机视觉技术得到了快速的发展,其理论和应用都得到了极大的丰富,双目视觉作为计算机视觉的一大分支,具有重要的研究意义。双目视觉基于视差原理,使用成像设备从不同位置捕捉同一场景的图像,利用同一点在两幅图中的位置偏差来获取当前场景的深度信息,相较于结构光等主动式深度测量,双目视觉拥有更简单的结构和更广泛的应用场景。双目视觉面对的挑战:1、作为实时系统,双目立体视觉的计算量较大,其中双目匹配算法有较高的时间复杂度,实现该系统需要较多的硬件资源。2、双目视觉系统多用于移动平台的深度测量,移动平台对其搭载系统的功耗有极其苛刻的要求,双目系统需要在使用较高硬件资源的同时,其功耗也要控制在移动平台可接受的范围内。本文针对这些挑战,本文基于ZYNQ设计了一套实时性强,功耗低的双目视觉系统,将大量可并行的逻辑和基础运算放在PL中实现,同时将复杂的浮点型运算放在PS中处理,充分发挥了ZYNQ各部分的逻辑资源,提升了整个系统的运行效率,最终实现了图像的采集、双目的校正、双目立体匹配和视差图的输出。本系统在算法层实现了双目的极线校正和畸变校正,使用Census变换和汉明距离得到了匹配代价,针对ZYNQ的特性优化了半全局匹配算法的聚合路径,并对匹配代价进行聚合,通过左右一致性检查剔除了误匹配点,经过中值滤波,最终以2.176W的功耗实现了分辨率为640×480、帧率为60fps的双目图像采集和搜索范围为64的视差图输出。经过对比实验得出,本系统与PC端同参数计算出的视差图仅相差0.5个像素点,且优化后的聚合路径与标准路径的偏差低于30%。