基于几何特征的1D-CNN模型实时微表情识别
作者单位：中南大学
学位级别：硕士
导师姓名：张祖平
授予年度：2023年
学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）]
摘 要：微表情是指当人们无意识或故意隐藏情感时,在脸上出现的短暂面部表情。微表情包含大量关于真实情感的有效信息,在安防和审讯等实际应用中非常有帮助。然而,微表情是一个非常短暂的动作过程,实时提提取这些信息是一个挑战性的问题。在过去超过十年的时间里,微表情自动识别越来越受到心理学、计算机科学、安全学、神经科学等相关学科研究人员的关注。通常,微表情的自动识别过程包括预处理、特征提取和分类。该领域的研究人员发现,已有研究中的特征提取技术无法提供微表情的可靠细节,继而增加识别的挑战性。由于多年来微表情特征描述的挑战尚未解决,因此研究人员已经进入图像增强和情感放大的预处理阶段,以提高识别的精确度。然而,增加更多计算过程的趋势,也增加了微表情识别实时系统的成本,研究的重点还是又回到了特征提取这个方向。对于特征提取,有三种常用的方法;基于外观、基于几何和基于运动的特征描述。目前,基于外观和基于运动的特征描述通常用于微表情识别,因为它们可以提供面部肌肉细微运动的更多细节,而基于几何的特征描述通常用于正常的人脸表情识别,因为它对于较大的面部肌肉运动更可靠。而在另一方面,基于几何比基于外观的人脸表情识别算法的计算量要低得多,这使得实时而有效地识别面部表情成为可能。鉴于微表情识别在安防和审讯、医疗等领域的应用,一个快速而可靠的微表情识别系统已成为必要。我们选用基于几何的特征描述进行微表情特征提取作为主攻方向,论文的主要研究内容和创新点如下:(1)提出了一种基于几何特征描述的快速微表情特征提取算法,该算法利用人脸标记检测计算中性帧(起始帧)和情绪帧(顶点帧)之间细微变化的细节。提出的特征提取算法被描述为基于图特征与1DCNN模型(Graph+1D-CNN)。提出的算法采用了一种非常可靠且快速的坐标检测模型,共捕获468个点的3D坐标。在捕获顶点帧和起始帧的坐标后,测量每个相应坐标点之间的变化幅度,然后将测量到的震级呈现给一维卷积神经网络(1D-CNN)模型进行特征嵌入和分类。利用3个不同的自发微表情数据集,基于两个因素-识别精度和计算时间对所提出的Graph+1D-CNN进行了分析和评估;识别精度和计算时间。其中包括:自发微表情数据集(SMIC)、中国科学院微表情数据集(CASMEII)和自发行为与微运动数据集(SAMM)。实验结果表明,在每个样本4.5ms(222fps)的Intel Core i5-3470 CPU上,Graph+1D-CNN在CASMEII数据集上的准确率最高,达到96.99%。(2)将基于坐标的微表情放大技术应用到Graph+1D-CNN模型中以进一步提升了模型的性能,利用起始帧和顶点帧的坐标点实现了微表情放大,基于图的放大技术的特征计算被描述为基于图的放大特征融合进1D-CNN模型形成新的模型Graph+M+1D-CNN。2022提出的无形的情绪放大算法IEMA利用起始帧和顶点帧的面部坐标点来计算放大元素,其中还包含面部运动的方向。然后,将计算出的放大元素应用于顶点框架的x和y坐标,以增强细微情绪时面部肌肉运动的幅度。借鉴算法IEMA的思想形成了我们新的模型Graph+M+1DCNN。同样,在三个自发数据集(即SMIC,CASMEII和SAMM)上进行了实验,结果表明,所提出的Graph+M+1D-CNN在同一台机器上,每个样本为4.8 ms(208fps)的CASMEII数据集的准确率最高,为98.86%,这远远高于实时微表情识别的最低要求5ms(200pfs)。图16幅,表25个,参考文献147篇。
同方学位论文库