基于情感计算的面部表情重建

作     者：谭威 

作者单位：武汉纺织大学 

学位级别：硕士

导师姓名：胡新荣;陈华松

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：微表情识别 情感计算 卷积神经网络 面部表情重建 特征提取 

摘      要：人脸建模与动画技术的研究已有30多年的历史,如今人机交互、影视、虚拟现实等领域发展速度不断加快,人们也越来越重视人脸建模与动画等研究领域。由于三维人脸比二维人脸包含更多的身份信息,适用场景也更加丰富,所以计算机视觉领域对三维人脸重建技术的探究更为关注。三维人脸重建中真实人脸数据的采集需要承担很高昂的费用,而且三维人脸重建中通过传统算法其效率并不理想。此外,人脸几何结构和表情外观的变化复杂多样,仅从单张二维照片获得的信息很少,难以重构具有丰富表情变化的三维人脸。本文基于此对三维人脸表情重建进行研究,具体内容如下:（1）实现了基于卷积神经网络的人脸微表情识别算法。由于机器视觉领域研究的深度和广度都得到很大进步,针对面部表情的探究也从原来最大众化的表情向复杂多变的表情发展,从静态图像过渡到动态图像。而微表情识别作为情感计算中的重要组成部分,可以有效提取和识别人脸的表情信息。本文设计的微表情识别算法首先对数据集进行预处理,然后利用CNN提取微表情视频序列时间尺度特征,最后采用支持向量机（SVM）有效识别微表情。由实验数据可得出,本文方法的误识率低于0.1%,识别耗时不高于5ms,与传统方法相比本文方法具有很好的应用效果。（2）实现了三维人脸表情重建的算法,可同时对人脸形状、姿势和表情特征进行重建。从单张二维图像恢复三维人脸通常使用以CNN作为基础的三维模型,这一模型虽然可在二维图像的基础上回归三维形变的系数进行重建,但是欠缺人脸的表情数据,因此会显著地影响人脸表情重建的真实感。本文在人脸面部提取到的微表情信息基础上进行表情系数回归,提出一种人脸多属性学习方法,将情感计算中识别出来的微表情作为输入与人脸形状属性和姿态属性共同学习,利用Resnet101网络重构一个具有表情的人脸模型。为尽可能避免脸部遮挡对于最终表情重建所构成的影响,论文中运用多特征融合的方案,完成相关图像的预处理,进而控制遮挡对实验的影响。最后将该算法与基于形变模型和基于图像到体像素的重建算法进行了比较。实验结果表明,本论文重建的三维人脸表情模型在局部效果、真实感、鲁棒性等性能方面具有较大优势,算法复杂度低,耗时低。