基于RealSense的动态表情识别方法研究

作     者：张钊 

作者单位：华中师范大学 

学位级别：硕士

导师姓名：何秀玲

授予年度：2018年

学科分类：080202[工学-机械电子工程] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：表情识别 三维动态特征 特征描述标签 RealSense 

摘      要：面部表情作为人类情感交流的重要途径之一,表情识别成为了情感计算在教育领域中的关键课题。便携式3D传感器和移动设备的发展,也为新型人机交互方式带来了更多的可能,使表情识别的应用可以更加自然的融入智慧教学。本文通过对国内外学者在表情识别上的研究工作进行总结,发现现有的研究多基于采集平面2D图像的普通RGB传感器的静态表情识别。静态表情相比动态表情,缺乏了连续变化的信息,而基于2D图像的表情识别容易受到光照,拍摄角度的影响,扩展性不强,用2D图像描述3D的人脸必然会造成一些重要信息的丢失或失真,从而影响表情识别的精度;部分采用3D传感器的识别方法,传感器造价昂贵,特征提取过程较为繁琐,不利于表情识别的应用。为了克服以上问题,本文引入了 RealSense 3D传感器用于面部信息的获取,得到面部标记点后提取人脸动态几何特征,并转化为语义层面的特征描述标签,将SVM分类方法与基于区域特征描述标签的分类方法进行融合,实现动态三维表情的识别。主要研究工作如下:（1）录制RealSense三维动态表情数据库。鉴于目前国内外没有基于RealSense的面部表情数据库,课题组组织并录制了包含面部RGB-D、头部姿态、面部78个标记点坐标信息的RealSense表情数据库。该数据库包含六种基本表情类别（高兴、悲伤、惊讶、愤怒、害怕、厌恶）。（2）针对包含RGB-D信息的面部数据,使用了一种基于三维空间的归一化方法,通过分析每种表情的特点,对面部表情特征按面部区域眼、眉、嘴、鼻构建局部特征描述标签集合。在面部标记点基础上提取三维动态表情的几何特征,包含距离特征和角度特征,完成底层特征提取。（3）提出基于SVM和区域特征描述标签融合的表情分类方法。分类方法融合过程中,使用几何特征训练SVM分类器进行初次分类,通过输出SVM的后验概率,筛选出SVM分类过程中模糊的样本,使用区域特征描述标签的分类方法进行二次分类。区域特征描述标签的分类方法通过构建树形特征描述标注器,将几何特征从特征空间转换到语义空间,完成特征描述标签的标注,通过迭代训练,得出特征描述标签对表情类别的贡献度,构造特征描述-类别矩阵,使用BOW匹配的方法,确定表情类别。分类方法的融合,有效降低了表情识别中由于样本差异,导致分类方法泛化能力差的问题。结合本文提出的三维动态表情识别算法,在Windows平台下,使用VS2015集成开发环境,结合RealSense3D传感器,搭建了一套表情识别系统。同时使用录制的RealSense表情库和CK+表情库验证分类方法有效性。