针对多姿态人脸的特征点定位算法研究

作     者：张佳慧 

作者单位：江南大学 

学位级别：硕士

导师姓名：狄岚

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人脸特征点定位 人脸对齐 级联形状回归模型 高斯热图回归网络 3DMM 

摘      要：人脸特征点定位任务的目标是定位出人脸图像中五官等具有语义含义的特征点坐标。许多人脸图像分析技术,如人脸识别、头部姿态识别、三维人脸重建等,都需要人脸特征点定位作为中间步骤。人脸特征点定位工作发展至今,研究对象已经不仅仅局限于单一的仿真环境下采样的正面人脸图像,更包含了在无约束条件下采集的具有姿态、遮挡、光照等多重因素影响的人脸图像。尽管人脸特征点定位研究已经取得了丰硕的成果,但这些无约束样本依旧是研究的一项难点。人脸特征点定位的相关算法有多种不同的架构,其中使用最多的有两种:级联形状回归模型和高斯热图回归网络。其中级联形状回归模型的原理是在一个正面的、中性的初始人脸形状的基础上迭代更新,直至形状逼近真实人脸形状。由于受初始形状限制,这类模型在面对大姿态人脸图像时有很大的回归难度。高斯热图回归网络将回归目标改为坐标点的高斯分布图,提升了模型的空间泛化能力。但由于特征点之间的关联性没有得到有效表达,因此在面对姿态、遮挡等因素影响的人脸图像时,预测结果可能出现特征点四散的现象。本文分别针对这两类架构存在的问题,提出改进的方案,提升算法对姿态等无约束条件的鲁棒性。本文的主要工作如下:1、基于融合子空间和三维拟合的人脸特征点定位算法研究。考虑到基于级联形状回归模型的人脸特征点定位方法会受到初始形状的限制,本文研究了一种双层级联形状回归模型架构,其中第一层用于生成粗略对齐的初始形状,第二层基于上层输出的初始形状,实现更精准的人脸特征点定位。第一层的回归目标是本文定义的简化人脸形状,利用三维拟合法即可生成对应的完整人脸形状。先定位简化人脸形状是因为减少特征点的个数可以在一定程度上降低回归的难度。为了进一步提升简化人脸形状的预测精度,本文还引入了基于融合子空间的样本划分法,将样本依据融合特征划分成多个子集,同一子集中的样本在姿态上都具有一定的相似性,再分别对每个子集进行模型训练,提升整体的姿态鲁棒性。2、融合形状约束和高斯热图回归的人脸特征点定位算法研究。由于高斯热图回归网络对于人脸特征点之间的关联性表达较弱,本文将注意力图引入高斯热图回归网络中,以作为形状约束。该算法架构包含三部分,三维模型参数预测网络,注意力图生成器和高斯热图回归网络。其中三维模型参数预测网络以轻量级网络Mobile Net-v3为主干,目标是预测三维人脸模型的参数。本文还采用新的数据合成方法来提升模型的泛化能力。根据预测得到的三维人脸模型参数可以重建出与人脸图像初步拟合的三维人脸形状。注意力图生成器会将三维人脸形状投影至二维平面,连接特征点形成边界线图,再将边界线图转化成注意力图。高斯热图回归网络以HRNet为主干,将原始图像与注意力图的融合结果作为输入,实现从粗到精的人脸特征点定位。本文在300W、WFLW、COFW人脸特征点定位数据集上设计了多种消融实验以及与其它先进算法的对比实验。经多项实验数据证明,本文改进后的算法对大姿态、无约束的人脸图像的特征点定位具有更高的准确性和鲁棒性。