检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自监督模型的语音识别研究

基于自监督模型的语音识别研究

作者：李思瑞西北民族大学

学位级别：硕士

由于深度神经网络的出现,自动语音识别技术取得了重大进展。目前最先进的语音识别系统,在某些场景下的识别正确率,已经接近人类水平。然而,这类系统需要大量有标签数据进行训练,限制了语音识别技术在低资源语言上的应用。最近,自监督语... 详细信息

由于深度神经网络的出现,自动语音识别技术取得了重大进展。目前最先进的语音识别系统,在某些场景下的识别正确率,已经接近人类水平。然而,这类系统需要大量有标签数据进行训练,限制了语音识别技术在低资源语言上的应用。最近,自监督语音表征模型的研究变得火热,它仅使用音频数据进行预训练,无需配对的文本标签,在各种下游任务上取得了出色的表现。在此背景下,本文工作基于目前最流行的wav2vec2.0和Hu BERT两种自监督模型,在语音识别任务上进行了研究。本文的主要工作和创新如下:首先,采用了一种新的有监督语音识别方法。该方法分为两部分:一是自监督模型的预训练,利用对比损失函数,从大量无标签音频数据中学习语音高级特征。二是基于自监督模型的微调,将自监督模型作为编码器,其后连接CTC解码器,使用少量有标签数据进行微调训练。基于wav2vec2.0和Hu BERT两种自监督模型,分别在TIMIT数据集和永宁摩梭语数据集进行了实验验证。实验结果表明,与常规的有监督语音识别方法相比,自监督模型的微调方法取得了最低的词错误率为15.3%,并且训练时间更短。其次,构建了无监督语音识别基线系统。该过程分为两部分:一是音频和文本预处理,使用自监督预训练模型提取高级语音特征,代替传统的声学特征,然后对语音特征进行聚类和降维。将文本转成音素序列,生成one-hot向量。二是无监督训练,将预处理的语音特征送入生成器,输出伪音素向量序列,然后与不配对的文本向量一起送入判别器。无监督训练目标是,让判别器难以判别输入来自伪音素向量还是真实的文本向量。实验结果表明,无监督语音识别在TIMIT数据上取得了20.06%的音素错误率。然而,在永宁摩梭语语料上,由于文本数据的稀缺和自监督模型的影响,识别的效果还不够理想。最后,改进了无监督语音识别系统。一是提出了自监督模型的说话人归一化方法,对自监督模型提取的高级语音特征进行定性和定量分析,去除说话人信息对语音识别任务的影响。二是引入重构损失,让生成器的输出重构回原始的输入音频,充分利用原始音频信息。在TIMIT数据上的实验结果表明,相较于基线系统,音素错误率下降超过5%,训练更加稳定。

关键词：语音识别自监督模型模型微调无监督学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多任务学习的语音情感识别

数据采集与处理 2024年第2期39卷 424-432页

作者：李云峰闫祖龙高天方昕邹亮中国矿业大学信息与控制工程学院徐州221116 科大讯飞股份有限公司核心研发平台合肥230088

在近期的语音情感识别研究中,研究人员尝试利用深度学习模型从语音信号中识别情感。然而,传统基于单任务学习的模型对语音的声学情感信息关注度不足,导致情感识别的准确率较低。鉴于此,本文提出了一种基于多任务学习、端到端的语音情感... 详细信息

在近期的语音情感识别研究中,研究人员尝试利用深度学习模型从语音信号中识别情感。然而,传统基于单任务学习的模型对语音的声学情感信息关注度不足,导致情感识别的准确率较低。鉴于此,本文提出了一种基于多任务学习、端到端的语音情感识别网络,以挖掘语音中的声学情感,提升情感识别的准确率。为避免采用频域特征造成的信息损失,本文利用基于时域信号的Wav2vec2.0自监督网络作为模型的主干网络,提取语音的声学特征和语义特征,并利用注意力机制将两类特征进行融合作为自监督特征。为了充分利用语音中的声学情感信息,使用与情感有关的音素识别作为辅助任务,通过多任务学习挖掘自监督特征中的声学情感。在公开数据集IEMOCAP上的实验结果表明,本文提出的多任务学习模型实现了76.0%的加权准确率和76.9%的非加权准确率,相比传统单任务学习模型性能得到了明显提升。同时,消融实验验证了辅助任务和自监督网络微调策略的有效性。

关键词：深度学习多任务学习语音情感识别自监督模型微调策略

基于语言学知识增强的自监督式图卷积网络的事件关系抽取方法

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2023年第5期7卷 92-104页

作者：徐康余胜男陈蕾王传栋南京邮电大学计算机学院、软件学院、网络空间安全学院南京210003

【目的】解决事件关系抽取中因缺少大规模高质量的标注数据以及事件关系复杂的语言表达模式而导致的现有方法难以捕获结构化事件知识的问题。【方法】提出一种基于语言学知识增强的自监督式图卷积网络模型,利用预训练BERT模型编码文本特... 详细信息

【目的】解决事件关系抽取中因缺少大规模高质量的标注数据以及事件关系复杂的语言表达模式而导致的现有方法难以捕获结构化事件知识的问题。【方法】提出一种基于语言学知识增强的自监督式图卷积网络模型,利用预训练BERT模型编码文本特征,将其输入图卷积网络中学习词之间的句法依存关系以增强文本表示,引入多头注意力机制对不同依赖特征加以区分,再利用分段最大池化操作提取结构信息,然后组合多个段的池化结果作为事件对的关系特征,使用关系特征进行自适应聚类生成伪类别标签,并将其作为自监督信息,通过迭代的自监督训练模式优化事件关系特征。【结果】在TACRED和FewRel数据集上进行实验,B3-F1相较于最好的基线模型分别提高了2.1和1.2个百分点。【局限】该模型将句法依存树当作无向图处理,未考虑边的方向和依赖边的标签信息。【结论】本文所提基于语言学知识增强的自监督式图卷积网络模型能有效增强文本的表征效果,为缺少标注数据的事件关系抽取提供了一种自监督学习框架。

关键词：事件关系抽取 BERT 自监督模型图卷积网络多头注意力机制

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于多任务学习的语音情感识别

基于多任务学习的语音情感识别

作者：李云峰中国矿业大学

学位级别：硕士

语音情感识别是说话人意图分析中重要的组成部分,准确识别语音中的情感在智能化的人机交互过程中具有重要的研究价值。传统的机器学习方法受限于特征提取和模型的学习能力,难以处理复杂的语音信号。深度学习的发展较好的克服了这些问题... 详细信息

语音情感识别是说话人意图分析中重要的组成部分,准确识别语音中的情感在智能化的人机交互过程中具有重要的研究价值。传统的机器学习方法受限于特征提取和模型的学习能力,难以处理复杂的语音信号。深度学习的发展较好的克服了这些问题,其能够利用多层神经网络对语音信号进行端到端的学习和建模。本文利用深度学习模型,主要研究基于注意力帧池化和基于多任务学习的语音情感识别,具体内容如下:针对语音情感特征设计困难和情感在语音时间帧中分布不均匀的问题,构建基于注意力帧池化的语音情感识别模型。首先,利用WAV2VEC2.0作为特征提取器提取语音的帧级表征,通过引入多头自注意力(Multi-head Self-Attention,MHSA)、结构化自注意池化(Structured Self-Attentive,SSA)对语音表征进行池化操作得到语音的句级表征向量。然后,将句级表征向量输入进全连接神经网络中进行分类。利用加权准确率(Weighted Accuracy,WA)和非加权准确率(Unweighted Accuracy,UA)两种指标综合分析模型的性能。通过在IEMOCAP数据集上的实验表明,基于SSA注意力机制的池化策略对于语音时间帧中的情感信息保留最多,其WA和UA分别达到了73.2%、74.5%,优于前人的研究方法,为语音情感识别的研究提供了新思路。针对单任务学习模型对语音中声学情感信息关注度不足的问题,提出基于多任务学习的语音情感识别,利用与情感有关的音素识别作为语音情感识别的辅助任务,通过多任务学习学得两个任务的共享表征,使得其包含有助于情感识别的声学情感信息。通过与基于单任务学习的语音情感识别模型相比,基于多任务学习的语音情感识别模型在WA和UA指标分别提升了约3.6%、3%,多任务学习模型结构显著提高了网络对于语音中情感信息的抽取。基于上述方法,利用Py Qt开发一套语音情感识别软件,主要包括用户登录、数据预处理、在线录音和情感识别等4个模块,可实现录音、语音预处理和情感识别等功能,能够帮助人机交互研究人员高效开展语音情感识别工作,具有重要的工程应用价值。该论文有图31幅,表11个,参考文献92篇。

关键词：语音情感识别多任务学习自监督模型注意力帧池化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向复杂环境的语种识别方法研究

面向复杂环境的语种识别方法研究

作者：陈聪电子科技大学

学位级别：硕士

语音是人类与周围环境之间进行信息交互的基本载体之一,在人类的活动中扮演着重要的角色。随着社会现代化的发展,使得包括语音识别在内的智能语音技术逐渐成为研究热门。但在现实场景下,存在各种类型的噪声干扰且信噪比未知,如何有效的... 详细信息

语音是人类与周围环境之间进行信息交互的基本载体之一,在人类的活动中扮演着重要的角色。随着社会现代化的发展,使得包括语音识别在内的智能语音技术逐渐成为研究热门。但在现实场景下,存在各种类型的噪声干扰且信噪比未知,如何有效的提高在复杂噪声场景下智能语音算法的性能是当前热点问题。语音增强技术用于抑制噪声,因此其通常会作为智能语音算法的前端。语种识别是指自动判定语音所属语言种类的过程,是多语言环境下智能语音算法的关键前端技术。然而基于深度学习的语音增强和语种识别技术仍然存在以下挑战:(1)语音增强模型难以适应未知的噪声类型和信噪比;(2)在训练和测试条件不匹配时,语种识别算法泛化性和鲁棒性较差;(3)模型在低资源语种数据上表现较差。(4)语音增强目标和下游任务之间不匹配。本文以语音增强为切入点,研究了面向复杂环境下的语种识别技术及其应用,针对以上问题,提出了相应的解决方案,主要贡献如下:(1)针对噪声和信噪比自适应问题,本文提出了一种基于动态选择核机制的语音增强算法,通过为具有不同感受野大小的卷积核所对应的卷积模块赋予不同的权重,来动态的调整卷积层的感受野大小,从而使得模型能够适应不同的噪声类型和信噪比环境。为了有导向性的引导模型朝着目标优化,本文引入了中继监督损失机制,进一步提升了模型性能。(2)针对语种识别泛化性问题,本文提出了一种基于词法和语法特征的语种识别方法,实验表明相较于其他基于底层声学特征的方法具有更优的泛化性能。同时针对低资源语种识别准确率较差的问题,本文利用自监督模型在大规模无标注数据上学习到的语音表征,进一步提升了语种识别的准确率。针对语音增强引入的失真导致语种识别性能下降的问题,本文探索融合带噪语音和增强语音的方式,进一步提升了语种识别模型在噪声环境下的性能。(3)最后在算法的基础上,本文设计了一个面向民航陆空通话的语种识别系统,在系统中,针对基于深度学习的模型部署计算效率低下问题,提出了一种消息批处理框架,有效的提高了系统的吞吐量。

关键词：语音增强语种识别自监督模型多语种语音识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合结构信息的聚类集成方法研究

融合结构信息的聚类集成方法研究

作者：张晶山西大学

学位级别：硕士

聚类分析方法被不同领域的研究者们广泛使用。然而在将聚类分析应用于实际的任务中时,由于真实世界中数据的复杂性,单一聚类方法的适用范围、可靠性和稳定性都受到了制约。由此,研究人员提出了聚类集成的方法,聚类集成旨在将现有的多个... 详细信息

聚类分析方法被不同领域的研究者们广泛使用。然而在将聚类分析应用于实际的任务中时,由于真实世界中数据的复杂性,单一聚类方法的适用范围、可靠性和稳定性都受到了制约。由此,研究人员提出了聚类集成的方法,聚类集成旨在将现有的多个基聚类通过一定的策略融合得到一个一致的、更准确的、鲁棒性更好的聚类结果。但现有的聚类集成方法仍然具有一定的局限性,即在依据基聚类结果生成一致性聚类结果时,通常只计算数据点对之间的相关性,忽略了基聚类划分中簇之间的关系,导致无法充分挖掘数据对象之间潜在的关联关系。因此,如何根据基聚类发现数据对象之间潜在的关联关系,并将其关联关系与特征融合,是聚类集成方法研究中需要解决的关键问题。针对这些问题,本文主要围绕以下内容展开:(1)针对现实世界数据对象存在大量潜在的相关关系的特点,提出了数据对象的全局结构信息抽取方法。在抽取结构信息时,根据基聚类结果,利用信息熵从数据对象之间的相关关系和簇之间的相关关系两个维度进行抽取。(2)对数据对象的全局结构信息和特征进行融合,得到一致性聚类集成结果。首先使用图神经网络对数据对象的全局结构信息和特征进行融合,得到低维表示;然后构建一个自监督聚类集成模型对数据对象的低维表示进行一致性集成。从而获得一个一体化优化模型,以得到更好的聚类集成结果。(3)在真实数据集上进行了实验,首先将全局结构信息抽取方法得到的相关性矩阵与经典的数据对象相关性计算方法得到的相关性矩阵输入到谱聚类中作为邻接矩阵,对聚类结果进行对比,结果表明本文方法相较于其他方法能得到更好的一致性集成结果;然后将融合结构信息的聚类集成算法与经典聚类集成算法进行对比,结果表明本文算法相比HGPA、CSPA和MCLA等算法可以进一步提高聚类集成结果的准确性。

关键词：聚类集成结构信息抽取结构信息与特征的融合图神经网络自监督模型