检索结果-南通市图书馆

检索条件"主题词=多模态语音情感识别"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于加性角惩罚焦点损失的多模态语音情感识别研究

基于加性角惩罚焦点损失的多模态语音情感识别研究

引用

作者：叶升华南理工大学

学位级别：硕士

语音情感识别作为智能人机交互系统不可或缺的组件,具有重要的研究意义,在医疗辅助、健康管理和生活服务等方面具有广阔的应用前景。深度学习技术的快速发展为语音情感识别注入了新的活力,但现阶段对于语音情感识别的研究仍存在许多不... 详细信息

语音情感识别作为智能人机交互系统不可或缺的组件,具有重要的研究意义,在医疗辅助、健康管理和生活服务等方面具有广阔的应用前景。深度学习技术的快速发展为语音情感识别注入了新的活力,但现阶段对于语音情感识别的研究仍存在许多不足。大部分工作集中在对手工特征和网络结构的设计上,而忽视了对目标损失函数的设计和蕴含情感信息的多种模态之间的协同作用的探究。为了提高语音情感识别系统的性能,本文针对这些问题展开研究,主要包括以下工作:(1)探究了卷积神经网络结构、池化策略和多头自注意力机制对于模型性能的影响。鉴于不同性别存在情感表达上的差异,本文设计了一种以性别识别作为辅助任务的学习方法,挖掘并利用额外的潜在信息,帮助模型区分不同情感类别。(2)针对类别决策边界模糊和数据集难易样本不平衡问题,本文提出了加性角惩罚焦点损失函数。该损失函数引入角度惩罚因子来严格限制决策边界条件,以提高类内紧密度和类间差异度,并引入焦点因子来根据样本的难易程度调整分配给样本的损失,以促使模型更加关注容易被误分类的困难样本。从两个角度出发进行优化,从而指导模型在训练过程中学习得到更加有效的情感差异特征,提升语音情感识别模型的性能。通过在IEMOCAP、EMODB和SAVEE三个数据集上的实验,验证了该损失函数的有效性,且以该损失函数训练的模型在性能上具有显著的优势。(3)针对情感信息来源单一的问题,本文提出了基于图像、文本和音频信息融合的多模态语音情感识别方法。区别于一般的单模态方法,该方法结合了卷积神经网络提取的声谱图特征、预训练语言模型BERT提取的文本嵌入特征以及预训练声音模型VGGish提取的音频特征,通过综合利用不同模态所蕴含的丰富情感信息,能够更好地捕捉不同情感类别之间的差异特征,再结合性别识别辅助任务与加性角惩罚焦点损失函数,进一步提高模型的识别性能。本文提出的基于加性角惩罚焦点损失函数的多模态语音情感识别模型相比基准模型提高了3%的加权准确率和5%的未加权准确率,并且优于先进方法的表现。

关键词：深度学习多模态语音情感识别辅助任务学习加性角惩罚焦点损失函数

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：