检索结果-南通市图书馆

检索条件"主题词=人脸语音"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于深度特征融合的人脸-语音多模态身份识别研究

基于深度特征融合的人脸-语音多模态身份识别研究

引用

作者：刘雨杭华侨大学

学位级别：硕士

多模态的生物特征识别是指利用两种及以上生物特征,通过综合不同模态特征的信息来进行身份识别,得到比只利用单一生物特征更加准确和稳定的识别结果。而人脸和语音的多模态识别因为其数据的易采集性,识别率高,活体检测功能等优点一直是... 详细信息

多模态的生物特征识别是指利用两种及以上生物特征,通过综合不同模态特征的信息来进行身份识别,得到比只利用单一生物特征更加准确和稳定的识别结果。而人脸和语音的多模态识别因为其数据的易采集性,识别率高,活体检测功能等优点一直是多模态生物特征识别技术中的研究热点。深度学习的特征提取能力以及端到端的学习模式对于多模态特征融合有很大帮助,因此本文主要研究如何利用深度学习方法对人脸和语音特征进行特征层级的融合识别,主要研究内容概括如下:（1）提出结合多模态卷积和循环神经网络的人脸和语音融合识别模型。首先对如何利用卷积网络对人脸和语音特征进行融合识别进行研究,设计出了4种不同的多模态卷积网络结构,并通过实验对比来确定最佳的网络结构。多模态卷积网络的特征提取能力强,并且在训练过程中特征提取和融合部分能通过学习互相适应,所以能够提取出判别性强的融合特征。接着提出了将多模态卷积网络与循环神经网络结合,将一段时间的视频分帧并利用多模态卷积网络提取出一段时间序列的融合特征并将融合特征放入循环神经网络利用时间序列信息得到更准确的识别结果的方法。并且提出了3种不同的循环神经网络对序列特征进行分类的方法并进行了实验对比。（2）提出基于注意力机制的人脸和语音特征融合识别模型。首先在特征提取阶段利用改进的卷积神经网络残差网络来提取人脸特征,用长短时记忆网络提取语音特征来减少网络参数。在特征融合方面,利用注意力机制来综合处理一个序列中的人脸特征和语音特征,然后利用序列中融合特征的注意力权重来赋予序列中判别性强的特征更高的权重同时减少被噪声污染的特征的权重,使得噪声信息带来的影响进一步降低,提高了模型的判别能力。此外还通过实验来探究不同特征融合方法和网络结构对识别结果的影响,并研究如何将模型应用到实时的以及序列的人脸和语音多模态融合识别中,经过实验验证模型能够适用于实时的以及时间序列的人脸语音多模态身份识别。

关键词：人脸语音特征融合多模态识别深度网络序列识别

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于人脸和语音深度特征融合的说话人识别与标注算法研究

基于人脸和语音深度特征融合的说话人识别与标注算法研究

引用

作者：耿佳佳华侨大学

学位级别：硕士

说话人鉴定在众多实际安全领域有重要应用,然而基于单一模态生物特征的鉴定模型易受环境因素变化的影响。通常较单一模态,多模态特征融合方法可以提供更丰富和更全面的本质信息,并且近年来得到了越来越多的关注。因此,有效的多模态特征... 详细信息

说话人鉴定在众多实际安全领域有重要应用,然而基于单一模态生物特征的鉴定模型易受环境因素变化的影响。通常较单一模态,多模态特征融合方法可以提供更丰富和更全面的本质信息,并且近年来得到了越来越多的关注。因此,有效的多模态特征融合方法发展对这些安全应用领域具有重要的实际意义.本文首先阐述有效的语音人脸特征融合的说话人识别方法,其中融合方法基于多模态特征融合的神经网络实现。人脸特征通过卷积神经网络提取得到,语音特征则通过手工提取的高层语义特征,以此实现人脸特征与语音特征之间的兼容,同时整个过程端到端实现,可以达到自动学习特征融合映射关系。本文针对不同人脸语音特征融合的网络作出不同层次的融合方式的比较,进而得出不同层次融合对最终识别性能的影响。最终的实验结果表明多模态特征融合的方法较单模型方法性能更为高效,通过对比不同层次的特征融合方法,发现特征层融合方法较决策层融合方法更为有效。其次阐述了基于人脸语音特征融合的方法,本文进一步提出了基于注意力机制的人脸语音特征融合的说话人标注算法。首先通过VGG-face得到对应的人脸特征以及语音的MFCCs,作为后续网络输入,后本文针对语音特征的编码提出两种不同的编码模块,以获得判别能力较强的语音特征。此外,对于人脸与语音特征局部关系的挖掘,提出了基于注意力机制的局部特征融合方法,通过注意力机制得到局部特征之间关系的注意力权重,后通过对人脸语音特征做加权和,得到融合特征。进一步,为了充分融合特征,对局部人脸与语音特征进行全局融合,提出基于双线性池化的融合方法得到最终给的融合特征,用于最后的说话人标注。通过实验对比发现本文的方法较以往工作更为鲁棒,性能更强。

关键词：人脸语音特征融合说话人标注低秩双线性池化

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：