检索结果-南通市图书馆

太原理工大学学报 2021年第5期52卷 769-774页

作者：胡德生张雪英张静李宝芸太原理工大学信息与计算机学院太原030024

为了有效特征提取与融合提高语音情感识别率,提出了一种使用主辅网络进行深度特征融合的语音情感识别算法。首先将段特征输入BLSTM-Attention网络作为主网络,其中注意力机制能够关注语音信号中的情感信息;然后,把Mel语谱图输入CNN-GAP... 详细信息

为了有效特征提取与融合提高语音情感识别率,提出了一种使用主辅网络进行深度特征融合的语音情感识别算法。首先将段特征输入BLSTM-Attention网络作为主网络,其中注意力机制能够关注语音信号中的情感信息;然后,把Mel语谱图输入CNN-GAP网络作为辅助网络,GAP可以减轻全连接层带来的过拟合;最后,将两个网络提取的深度特征以主辅网络方式进行特征融合,解决不同类型特征直接融合带来的识别结果不理想的问题。在IEMOCAP数据集上对比4种模型的实验结果表明,使用主辅网络深度特征融合的WA和UA均有不同程度的提高。

关键词：语音情感识别主辅网络长短时记忆单元卷积神经网络

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于CNN主辅网络的语音增强算法

基于CNN主辅网络的语音增强算法

引用

作者：张刚敏太原理工大学

学位级别：硕士

语音作为人类沟通交流的主要方式之一,在很多场景下面临着噪声干扰、回声、失真等问题,这会导致语音信号的质量和可懂度下降,不仅会影响人们的正常交流,还会影响到语音识别、语音合成、语音唤醒等相关技术的性能。语音增强研究的意义就... 详细信息

语音作为人类沟通交流的主要方式之一,在很多场景下面临着噪声干扰、回声、失真等问题,这会导致语音信号的质量和可懂度下降,不仅会影响人们的正常交流,还会影响到语音识别、语音合成、语音唤醒等相关技术的性能。语音增强研究的意义就在于提高语音通信的质量和可靠性。本文基于卷积神经网络(Convolutional Neural Network,CNN)对语音增强算法进行研究,并提出基于CNN主辅网络和多任务自适应知识蒸馏的语音增强算法,在降低计算成本的同时提高增强语音的质量和可懂度。本文所作的主要工作内容如下:(1)描述了语音增强算法的研究背景和实际应用意义,按照时间线介绍了国内外语音增强技术的发展历程。同时将影响语音增强算法性能的数据库、声学特征、网络模型等因素以及评价指标进行了分析。(2)针对CNN网络学习能力不足的问题,本文提出了一种融合注意力机制的主辅网络语音增强算法。在主网络中,利用不同形状卷积核分别提取时域和频域信息得到改进的CNN,将融合多头注意力机制的BiGRU和改进的CNN并联,改善CNN不能利用全局信息的缺陷,同时对CNN中位置和通道维度信息进行关注;其次,提出了指数型目标夸大损失函数,解决现有网络输出过平滑以及不能很好地感知高频信息的问题;在辅网络中,通过训练主网络输出和学习目标之间的残差并将输出补偿给主网络,以减小主网络在降噪过程中部分语音信息丢失的问题。最后,在不同背景噪声以及多种信噪比下对多条语音进行实验,实验结果证明,所提出的算法对于语音的质量和可懂度有较好的提升效果。(3)针对现有网络模型复杂度高以及消耗大量计算资源等问题,本文提出一种多任务自适应知识蒸馏的语音增强算法,旨在解决复杂模型在时间和硬件等计算成本方面带来的问题,同时提高语音增强算法的性能。首先,采用知识蒸馏的思想来解决现有的语音增强模型过于庞大、参数多造成计算成本上升问题;其次,充分考虑不同时频单元之间的差异,引入加权因子来优化传统损失函数,提升学生网络性能;将主辅网络作为教师网络,但在部分高信噪比噪声背景下,主网络的性能优于主辅网络,为了更好地利用不同任务之间的关联性,同时避免教师网络预测的不确定性影响学生网络的性能,构建多任务自适应的学习框架,使该网络在降低模型规模的同时,进一步提高模型的性能。

关键词：语音增强主辅网络指数型目标夸大知识蒸馏多任务自适应学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主辅网络特征融合的语音情感识别

基于主辅网络特征融合的语音情感识别

引用

作者：胡德生太原理工大学

学位级别：硕士

语言是人类交流最方便、最快捷的方式,语言中包含的情感信息在交流时发挥着重要作用。让机器像人一样具备说话、思维和情感能力,是人工智能领域一直追求的目标。语音情感识别的研究,将推动这一目标的逐步实现。近年来,深度学习被应用于... 详细信息

语言是人类交流最方便、最快捷的方式,语言中包含的情感信息在交流时发挥着重要作用。让机器像人一样具备说话、思维和情感能力,是人工智能领域一直追求的目标。语音情感识别的研究,将推动这一目标的逐步实现。近年来,深度学习被应用于各个领域,且取得了非常好的效果。深度学习也被成功的应用于语音情感识别领域,主要被用来提取显著的、更为泛化性的情感特征和建立情感分类模型。语音情感识别除了建立合适的数据库外,主要包括特征提取和分类模型两部分,本文主要针对不同类型的特征,用深度学习算法改进分类模型,并提出了一种特征融合算法,主要内容如下:(1)对语音信号分帧提取情感声学特征,分段处理生成段特征,其考虑了语音情感随时间变化的特性。首先使用基于双向长短时记忆单元(Bidirectional Long Short Term Memory,BLSTM)对段特征进行建模,该模型取得了一定的效果。但经研究发现,该模型主要存在以下两个问题:BLSTM只能在时间步上进行局部特征学习,难以学习语音情感信号的全局信息,而语音情感信号是上下文相关的;仅使用BLSTM最后一个时刻的输出编码语音情感信息,会造成一定的信息损失。基于上述问题,本文提出了一种基于SA-BLSTM-ASP(Self Attention-Bidirectional Long Short Term Memory-Attentive Statistics Pooling)网络的语音情感识别模型,通过在BLSTM网络之前加入自注意力机制模块以计算段特征输入序列不同位置之间的相互关系,增强网络学习全局特征的能力;在BLSTM网络输出,使用一种本文提出的结合注意力机制和统计池化的注意力统计池化方法,注意力机制可以关注输入的情感语音信号中更显著的情感片段,统计池化可以关注语音情感信号的长时变化特性,两者结合起来可以增强BLSTM网络提取显著深度段特征的能力,提高语音情感识别系统的性能。(2)对语音信号提取Mel语谱图,其横轴代表时间,纵轴代表频率,针对这一特点,设计一种卷积神经网络结构(Convolutional Neural Network-Global Average Pooling,CNN-GAP)。通过分别在时间轴和频率轴设计较大的卷积核,可以提取Mel语谱图的频率和时间特性,进而提取显著的情感特征,并在最后一层卷积层之后使用全局平均池化代替全连接层,其可以减轻过拟合,提升语音情感识别性能。(3)将SA-BLSTM-ASP网络提取的深度段特征和CNN-GAP网络提取的深度Mel语谱图特征通过主辅网络方式进行特征融合。目前在深度学习中,对不同网络学习出来的特征多以直接拼接的方式进行特征融合,虽然这些方法取得了一定的效果,但将不同类型的特征简单拼接起来作为识别网络的输入,没有考虑不同特征的量纲和维度的差异,以及各类型特征实际物理意义的不同,会对识别结果带来不利影响。针对上述问题,本文提出了通过主辅网络方式将不同类别特征进行融合的方法。首先将段特征输入SA-BLSTM-ASP网络作为主网络,提取深度段特征;然后,把Mel语谱图输入CNN-GAP网络作为辅助网络,提取深度Mel语谱图特征;最后,用深度Mel语谱图特征辅助深度段特征,将两者以主辅网络方式进行特征融合。本文在IEMOCAP和e NTERFACE’05数据集上做了充分的实验,验证了提出的基于SA-BLSTM-ASP网络的语音情感识别和基于主辅网络特征融合的语音情感识别两个模型的有效性,和基准模型相比识别结果有了很大的提升。

关键词：循环神经网络自注意力机制注意力统计池化卷积神经网络主辅网络

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：