基于二维仿射变换的几何一致性虚实融合研究

作     者：滕嘉玮 

作者单位：吉林大学 

学位级别：硕士

导师姓名：赵岩

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：增强现实 虚实融合 几何一致性 二维仿射变换 差分渲染 

摘      要：增强现实技术（Augmented Reality）,简称为AR技术,是一种将真实世界信息和虚拟世界信息“无缝集成的新技术。它把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息、声音、味道、触觉等）通过计算机技术,模拟仿真后再叠加,将虚拟的信息融合到真实世界,被人类感官所感知,从而达到超越现实的感官体验。增强现实可以广泛应用于工业维修、军事、娱乐、教育、旅游、电视转播、古迹复原和数字化文化遗产保护等诸多领域。随着增强现实技术的成熟,增强现实与工业的结合越来越深入。虚实融合是增强现实的关键技术,虚实融合的效果直接影响增强现实的用户体验。传统的虚实融合方法大多数采用了辅助标记的方法或者是图像的特征点匹配算法,这些方法在三维层面上考虑了虚拟物体与真实世界的遮挡关系。由于辅助标记方法具有局限性并且相邻帧之间的特征点匹配少,会导致虚实融合的真实感降低,从而无法准确的实现几何一致性,本文以真实场景中的人体手腕佩戴虚拟腕表为例,提出了一种基于二维仿射变换的几何一致性虚实融合方法,具体如下:（1）首先用Kinect摄像机环拍真实场景,利用Kinect Fusion算法对场景进行三维重建。然后对场景进行分割,分割出需要精确计算几何一致性的人体手臂区域,然后通过三维转二维的方法将该区域投影到二维平面上,在二维平面上确定手腕的位置和手腕的宽度。并且同时讨论了手臂正对摄像机和不正对摄像机的两种情况,通过二维仿射变换算法将两种情况下的手腕的位置与宽度都确定出来,这样也可以确定出虚拟腕表的位置和缩放。最后通过坐标系统的统一确定了虚拟腕表的旋转角度。（2）将虚拟腕表通过差分渲染算法渲染到真实场景中,并将上述确定的位置、缩放和旋转角度等参数代入进算法中得到最终的虚实融合结果。我们提出的几何一致性虚实融合方法,利用从三维空间到二维空间的转换,详细计算虚拟对象与真实场景之间的几何关系,并应用二维仿射变换处理二维图像,以实现更精确的计算。最后,结合光照一致性虚实融合,通过差分渲染法将虚拟对象准确地插入到真实场景中实现了同时具有几何一致性和光照一致性的虚实融合系统。实验结果表明,虚拟物体可以完全按照尺寸和体积大小融合到真实场景中,验证了所提出方法的有效性。