基于视频的人脸疼痛表情识别及其应用研究

作     者：樊兴 

作者单位：广西大学 

学位级别：硕士

导师姓名：梁正友

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：疼痛表情识别 高斯加噪 离散余弦变换 三维卷积神经网络 主动外观模型 光流法 

摘      要：疼痛,不仅仅是一种感觉,更是人体最有价值的身体自我保护机制。在临床环境中,疼痛难以评估和管理,但疼痛评估却是医学诊疗中重要的参考要素。良好的疼痛评估能够让患者提高生活质量、减少对疼痛的恐惧、避免药物滥用、让医务人员更了解患者疼痛情况、超前用药以使药物达到更好的疗效等等很多益处。因此,疼痛表情识别的研究对医学临床疼痛评估就具有重要意义和广泛的应用前景,正逐步受到越来越多医学和科研工作者的关注。人脸表情识别的研究主要包括原始数据集(图像/视频)的获取、人脸检测、预处理、特征提取和分类等几个步骤。其中,人脸表情的特征提取和分类是最重要的两个步骤。准确的、有效的特征提取能够大幅度提升疼痛表情的识别率,而合适的表情分类方法可以降低算法复杂度,提升系统性能。针对当前面部表情识别存在的不足,本文在前人的基础上开展了以下的研究:1)本文提出一种基于高斯加噪(Additive White Gaussian Noise,AWGN)与离散余弦变换(Discrete Cosine Transform,DCT)结合的特征提取方法,通过对图片进行高斯加噪处理削弱高频特征对模型的影响,然后通过离散余弦变换压缩空域信号,以实现更合理更准确的疼痛识别。通过在UNBC-Mc Master肩部疼痛表情数据库上实验验证,该方法的识别率达到了83.6%,说明了该方法的有效性。2)针对现有的疼痛表情识别研究,多是基于静态图像或者视频的单帧图像进行的研究,缺少了相邻帧之间的运动信息与时域上的信息提取。光流法(Optical Flow Method)正好能够弥补时域上的动态信息的的缺失,而且目前尚未有研究人员将光流法用于疼痛表情识别分类的研究。本文提出一种基于光流法与三维卷积神经网络(3D Convolutionnal Neural Network,C3D)结合的疼痛表情分类方法:将AAM主动外观模型提取出C-APP外观特征与光流特征一起送入C3D网络中,实现对疼痛表情的分类。通过实验对比其他前沿方法证明本文所提方法的有效性。3)基于前文所提方法结合新浪云服务器资源与微信公众平台,通过将预处理、特征提取的相关代码以及训练好的卷积神经网络部署到新浪云服务器中,以及与微信公众平台的接口连接,完成了疼痛表情识别系统的设计与开发,实现了对手机自带图片和调用摄像头实时采样两种途径进行疼痛表情分类的基本功能需求。