基于泊松融合的视频人脸编辑算法研究

作     者：项国强 

作者单位：河北工业大学 

学位级别：硕士

导师姓名：魏玮

授予年度：2018年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人脸定位 图像配准 人脸替换 图像融合 口型匹配 

摘      要：在计算机视觉和图像处理领域中,视频人脸编辑在社交娱乐、远程会议等方面具有广泛应用,作为一种新兴的媒体处理手段,对电影产业具有巨大的推动作用,目前已成为各大高校和研究机构的研究课题。本文提出一种视频中人脸自动编辑技术,包括对整张人脸和局部五官的编辑处理。该技术不需要复杂的三维图像扫描设备或三维模型数据库辅助,在二维图像的基础上完成人脸的编辑操作,不需要用户进行人机交互操作,自动对输入的两段视频进行处理。本文提出的人脸编辑技术主要包括五个部分,分别是人脸检测及定位,视频人脸配准,口型匹配,最优掩膜生成和人脸融合。本文主要有以下三方面创新。提出视频人脸快速配准方法,该配准方法主要用于消除视频人脸编辑生成的合成视频人脸的抖动和漂移问题。提出的图像配准算法是一种根据区域的图像相似性度量方法,是一个从粗略到精细的逐步细化的过程。提出用图像金字塔加速搜索相似性度量的最大值,快速得到像素级配准的人脸图像;达到像素级配准后,对配准算法进行扩展,将双线性插值和解析法结合在一起直接计算精确的亚像素配准位置,完成整个图像配准的过程,使配准的人脸在时间轴上形成一个笔直的“管道。在对人脸图像指定区域进行编辑后,采用坐标逆变换将人脸配准的图像还原回原来的位置,使图像除人脸外无任何可察觉的变化。提出口型匹配策略,为防止人脸编辑过程中因口型差异出现人脸区域压缩或拉伸以及分割边缘触及五官的问题,基于嘴部附近的特征点间关系构造与口型相关的口型参数,根据口型参数对视频图像中的人脸进行匹配,重构出新的与目标视频序列人脸一一对应且口型运动趋势一致的源视频序列。提出最优掩膜生成方法,在泊松融合前首先要确定融合区域及其边界。融合边界若包含非肤色像素点则会产生局部渗色效应,为使融合结果更加自然或更具欺骗性,本文提出最优掩膜生成方法。该方法将人脸特征点分为两个部分,根据两人脸不同部分特征点构造初始掩膜,并通过人脸肤色模型约束得到最优的融合区域掩膜。从实验结果可知,提出的方法实现了视频人脸编辑的功能,并与其它算法相比,处理的视频片段具有很高的真实性,在不同条件下鲁棒性强。