基于深度特征融合的人脸-语音多模态身份识别研究

作     者：刘雨杭 

作者单位：华侨大学 

学位级别：硕士

导师姓名：柳欣

授予年度：2019年

学科分类：0711[理学-系统科学] 07[理学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人脸语音 特征融合 多模态识别 深度网络 序列识别 

摘      要：多模态的生物特征识别是指利用两种及以上生物特征,通过综合不同模态特征的信息来进行身份识别,得到比只利用单一生物特征更加准确和稳定的识别结果。而人脸和语音的多模态识别因为其数据的易采集性,识别率高,活体检测功能等优点一直是多模态生物特征识别技术中的研究热点。深度学习的特征提取能力以及端到端的学习模式对于多模态特征融合有很大帮助,因此本文主要研究如何利用深度学习方法对人脸和语音特征进行特征层级的融合识别,主要研究内容概括如下:（1）提出结合多模态卷积和循环神经网络的人脸和语音融合识别模型。首先对如何利用卷积网络对人脸和语音特征进行融合识别进行研究,设计出了4种不同的多模态卷积网络结构,并通过实验对比来确定最佳的网络结构。多模态卷积网络的特征提取能力强,并且在训练过程中特征提取和融合部分能通过学习互相适应,所以能够提取出判别性强的融合特征。接着提出了将多模态卷积网络与循环神经网络结合,将一段时间的视频分帧并利用多模态卷积网络提取出一段时间序列的融合特征并将融合特征放入循环神经网络利用时间序列信息得到更准确的识别结果的方法。并且提出了3种不同的循环神经网络对序列特征进行分类的方法并进行了实验对比。（2）提出基于注意力机制的人脸和语音特征融合识别模型。首先在特征提取阶段利用改进的卷积神经网络残差网络来提取人脸特征,用长短时记忆网络提取语音特征来减少网络参数。在特征融合方面,利用注意力机制来综合处理一个序列中的人脸特征和语音特征,然后利用序列中融合特征的注意力权重来赋予序列中判别性强的特征更高的权重同时减少被噪声污染的特征的权重,使得噪声信息带来的影响进一步降低,提高了模型的判别能力。此外还通过实验来探究不同特征融合方法和网络结构对识别结果的影响,并研究如何将模型应用到实时的以及序列的人脸和语音多模态融合识别中,经过实验验证模型能够适用于实时的以及时间序列的人脸语音多模态身份识别。