基于改进3D-ResNet34模型的视频人员情绪识别研究

作     者：郭复澳 姚克明 王中洲 

作者机构：江苏理工学院电气信息工程学院江苏 常州 

出 版 物：《图像与信号处理》 (Journal of Image and Signal Processing)

年 卷 期：2024年第13卷第3期

页      面：338-347页

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：人员情绪识别 特征提取 Transformer 特征融合 

摘      要：由于人员情绪的多变性,面部表情会随着时间的推移与情绪的变化而变化,这一点在视频数据中表现尤为显著,此时使用只对单帧图像进行训练的网络模型来判别视频数据中的人员心情显然不可行。因此为解决上述问题,提出一种结合3D-ResNet34、ConvLSTM以及Transformer的网络模型用于人员情绪识别的方法。首先,对视频数据集进行预处理,将完整的视频数据划分成若干个连续片段,使用3D-ResNet34网络对视频片段进行空间特征提取。其次,在网络模型中设计添加ConvLSTM模块用于从空间特征中提取更深层次的时间维度特征。然后,通过使用自设计的Transformer模块对每个视频片段生成一个注意力分布,用于加权融合各帧特征,得到一个表示整个视频片段的注意力特征。最后对提取完成的时间维度特征与注意力特征进行特征融合,形成一个新的特征表示,并送入Softmax层进行分类识别。实验表明,本文设计的方法取得了较好的识别准确率。