基于AM5728处理器的多摄像头视频拼接软件设计

作     者：徐召飞 

作者单位：浙江工业大学 

学位级别：硕士

导师姓名：董辉;朱威

授予年度：2017年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：多摄像头 视频拼接 AM5728多核处理器 OpenCL编程 

摘      要：随着电子信息技术的快速发展,新的多媒体应用不断涌现,人们对视频场景的逼真度和清晰度的要求也越来越高。多摄像头视频拼接技术能够获得单摄像头无法比拟的高品质宽视角视觉体验,是视频信息处理领域的一个重要研发方向,其中提升不同角度视频拼接后的图像质量、以及提高多摄像头同时拼接的处理速度是目前需要解决的主要难点。本文基于TI-AM5728多核处理器设计的多摄像头视频拼接软件,主要工作内容如下:(1)对视频拼接软件的功能和性能进行需求分析,基于AM5728对视频拼接软件进行总体设计,并搭建软硬件开发环境。(2)多路视频图像拼接模块设计。在图像匹配阶段,通过比较常用配准算法的实验效果,设计了一种基于图像重叠区的ORB特征匹配方法。该方法仅在限制区域内,根据ORB方法、双向FLANN算法以及RANSAC算法完成图像配准与变换矩阵计算,不仅有效降低了特征点对配准的错误率,而且对于光照变换、仿射变换具有较好的鲁棒性。在耗时较多的图像融合阶段,采用OpenCL异构并行编程框架调用AM5728的DSP核进行加速处理。首先,由动态规划搜索准则在投影变换后的多路图像中,计算最佳缝合线;然后,在每一层拉普拉斯金字塔中,根据缝合线模板对图像进行融合。最终得到的全景图像能够有效避免模糊虚影和拼接缝隙的产生,整体过渡自然。(3)拼接视频的编码传输模块设计。针对视频拼接软件低延时低带宽的网络数据传输要求,首先,采用GStreamer流媒体框架调用AM5728的视频编码硬件加速器IVA-HD,对拼接完成的视频数据进行H.264视频编码;然后,基于TCP/IP协议设计码流数据交互协议,通过以太网接口实现拼接视频流媒体传输。(4)视频解码客户端设计。基于Qt平台完成远程视频解码客户端软件的开发,主要包括启动、数据通信、解码显示等模块。所开发的视频拼接软件实现了从视频采集、拼接、编码、传输到解码显示的全过程,平均延时在320ms左右,基本达到了实时效果。