多通道运动特征融合的微表情识别方法

作     者：佘文祥 刘斌 陶建华 张昊 吕钊 She Wenxiang;Liu Bin;Tao Jianhua;Zhang Hao;Lyu Zhao

作者机构：安徽大学多模态认知计算安徽省重点实验室合肥230601 中国科学院自动化研究所模式识别国家重点实验室北京100190 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2021年第33卷第9期

页      面：1457-1465页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2017YFB1002804) 国家自然科学基金(61831022,61771472,61773379,61901473) 模式识别国家重点实验室开放课题基金(202000026). 

主　　题：微表情识别 动作特征提取 神经网络 局部特征 特征聚合 

摘      要：针对已有的微表情识别中由于微表情变化幅度不明显,导致细微特征容易在学习过程中丢失,从而使模型的性能受到限制的问题,提出一种基于运动特征的微表情识别方法.首先分析变化幅度相对明显的区域对微表情识别的影响,根据生理学研究对微表情变化相对活跃区域进行局部切割,并使用并行神经网络分别对局部区域和全局区域提取特征;然后采用一种能够提取特征级运动信息的运动特征提取模块从空间特征图中学习到运动特征,将运动特征和空间特征进行聚合,以减少细微特征的丢失;最后将局部特征和全局的聚合特征组合成新的混合特征用于微表情识别.实验结果表明,在MEGC 2019数据集(包含CASME II,SMIC和SAMM)上,未加权F1分数和未加权平均召回率的结果分别为81.81%和79.01%,与MEGC 2019最好的方法相比分别提高了2.96%和0.77%,该方法具有更好的识别性能.