深度视频一致性增强技术研究

作     者：富显祖 

作者单位：宁波大学 

学位级别：硕士

导师姓名：王晓东;王安人

授予年度：2017年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：多视点视频 深度视频 深度预处理 时域一致性增强 视点间一致性 

摘      要：随着3D应用在娱乐业、制造业等行业的普及,如3DTV、自由视点电视、虚拟现实、3D游戏和机器人视觉等,多样的3D应用已经悄然来到人们身边。其中多视点视频系统采用基于深度的绘制技术,而众所周知,获取真实场景的高质量且准确的深度信息一直是计算机视觉的关键问题。然而深度估计获得深度图是每帧单独估计,准确度有限,同时也使得视点间的深度图一致性不强,深度时域不一致会导致绘制视点出现闪烁,用户体验差,视点间的不一致性差,对虚拟视点的绘制质量有明显影响,且导致多视点编码性能下降。针对时域一致性增强,目前大多数算法不能在时间域持续增强深度信息的一致性,且增强作用弱。视点间的一致性增强更具有挑战性,视点不同,存在着遮挡区域、不同光线和阴影的影响,相比时间域存在着更多不一致的深度信息,准确性更难以度量。本文即对以上存在的问题,提出以下深度视频一致性增强方法:（1）针对深度估计中时域一致性增强方法的不足和多数方法在时间上一致性增强效果持续短,改善幅度较小,深度修正不准确等问题,提出基于运动程度强弱的深度视频时域一致性增强算法,用相对可靠的深度值进行时间范围更长的一致性修正,应用运动分割和彩色信息辅助,结合时空域相关性的加权模型进一步增强深度空域连续性和时域一致性。实验结果表明,本算法有效增强深度视频时域一致性,一致性效果持久,节省编码比特率17.48%1.75%的同时改善虚拟视点的绘制质量。（2）对存在的深度信息不一致导致合成的虚拟视点质量下降问题,提出了一种自适应的视点间一致性增强算法。首先,对左右视点的深度图进行视点间的深度信息一致性检测,同时创建视点间深度一致性评价值,将左右视点的深度图进行遮挡区域、深度一致区域和不一致区域的划分,结合深度图的边缘信息和深度值连通域的聚类分割,设计自适应双边滤波对深度图做对应的一致性增强,实验结果表明绘制视点的PSNR平均提高0.13dB,同时一定程度改善绘制视点的主客观质量。（3）面向多视点深度视频编码提出一种多视点深度视频一致性增强方法,以左中右三个视点为输入深度视频源,设计它们的深度信息交换方案,结合视点间一致性检测对视点间深度信息做融合,获得映射目标视点的新深度图,应用SIFT算子进行深度图尺度不变特征匹配,针对匹配的特征点进行仿射区域验证,锁定视点间匹配的局部区域,对多个视点的局部区域和整体做深度值一致性增强加权优化,依据一致性评价值进行迭代增强,从而达到实现多视点深度一致性增强的目的,实验验证该方法可节省多视点视频的编码码率4.10～13.68%。