检索结果-南通市图书馆

作者：张志鹏西安电子科技大学

学位级别：硕士

作为最自然的人机交互方式之一,语音识别技术在手机、音箱等智能设备上被广泛应用。其中,流式语音识别技术能够实时地向用户反馈识别结果,因此,其用户交互性更好,应用场景也更加广泛。然而,目前主流的流式语音识别模型通常参数量较大、... 详细信息

作为最自然的人机交互方式之一,语音识别技术在手机、音箱等智能设备上被广泛应用。其中,流式语音识别技术能够实时地向用户反馈识别结果,因此,其用户交互性更好,应用场景也更加广泛。然而,目前主流的流式语音识别模型通常参数量较大、计算复杂,很难在计算资源有限的移动设备上离线运行。此外,复杂的语音噪声干扰也给移动端流式语音识别带来挑战。本文以可用于移动设备的鲁棒性流式语音识别为研究目标,从算法和应用两个方面展开研究。从算法的角度,本文使用端到端语音识别技术,以因果卷积增强的Conformer作为音频编码器构建基于CTC的两阶段流式语音识别模型。在该模型的基础上,本文提出了动态流式块训练算法,使模型能够适应不同解码块大小,具备灵活部署的能力。此外,由于移动设备具有极高的便携性,这会导致输入语音可能存在较大的噪声干扰。针对自然环境噪声,本文提出了动态信噪比噪声数据增强算法,以提高模型对自然环境噪声的鲁棒性。针对多说话人场景中的人声干扰,本文提出了Noise Filter流式语音过滤模型,将其作为流式语音识别模型的前端模块,实现特定说话人语音识别。从应用的角度,本文设计并开发了Oys语音识别应用,将基于上述算法训练得到的流式语音识别模型部署到移动设备上。首先,利用模型压缩技术,在基本不损失准确率的情况下,降低模型大小并提高识别速度。部署中使用了多线程优化和模型历史状态缓存重用技术,以进一步提高模型的运行效率。最后,本文对提出的算法和Oys语音识别应用分别展开测试。实验证明,使用注意力重打分算法解码能够优化第一阶段CTC解码的识别效果,将字错误率从9.63%降低到8.12%;使用动态流式块算法训练的模型,可进一步将字错误率降低到7.85%。动态信噪比噪声数据增强算法扩充了训练数据,将清晰语音的字错误率降低到7.37%,同时大幅提升了自然噪声语音场景中的识别效果,将字错误率从24.40%降低到11.78%。本文提出的Noise Filter语音过滤模型能大幅优化多说话人场景的语音识别效果,将字错误率从59.61%降低到17.90%。本文使用量化算法进行模型压缩,将模型大小压缩了66.86%,仅占用77.3MB存储空间,而准确率损失较小,CER最高只增加了0.29%。Oys语音识别应用测试结果表明,量化后的语音识别模型实时率为0.23,加入Noise Filter后,实时率值增加到0.29,两者均满足实时性要求。此外,本文对CPU、内存等其他指标进行了测试,结果表明,Oys语音识别应用能够在计算资源较低的移动设备上实时运行。

关键词：流式语音识别降噪移动终端端到端模型两阶段模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自监督辅助损失的流式语音识别算法研究

基于自监督辅助损失的流式语音识别算法研究

作者：温正畅华南理工大学

学位级别：硕士

近年来,语音识别技术取得了显著的进步,为人们提供了更加高效便捷的沟通方式。流式语音识别具有更好的实时性,进一步提高了信息交流的效率,在实时通信、在线会议、直播等场景下具有广泛的应用。然而,实现准确而高效的流式语音识别仍具... 详细信息

近年来,语音识别技术取得了显著的进步,为人们提供了更加高效便捷的沟通方式。流式语音识别具有更好的实时性,进一步提高了信息交流的效率,在实时通信、在线会议、直播等场景下具有广泛的应用。然而,实现准确而高效的流式语音识别仍具有挑战性。在流式语音识别领域,仍存在以下问题:(1)模型受限于单个语种或标准语言,在处理涵盖各种口音的语音时识别效果有待提升;(2)模型的识别效果和延迟无法兼顾。低延迟的模型一般识别效果不佳,而识别效果好的模型通常具有较高的延迟。针对上述问题,本文以端到端流式语音识别模型为基本骨架,分别引入了自监督学习中的对比损失和重构损失作为模型训练时的辅助损失,并根据现有问题设计了不同的模块和训练策略。针对多种复杂口音场景下的语音识别问题,目前已有一些方法,但这些方法对口音发音的建模能力有限,且难以支持流式语音识别。本文提出了一种基于字粒度掩码学习的多口音流式语音识别模型,将基于对比损失的字粒度掩码学习作为辅助任务,利用强制对齐信息对音频特征进行字粒度掩码,使模型通过复原被掩码帧的方式学习各种口音的字粒度发音特征,并借助对比损失区分句内各帧发音的异同。本文还引入了基于注意力统计池化的口音识别模块,使模型支持口音识别任务。实验表明,该模型可实现对多种口音的流式语音识别,并能辨识其口音种类,且效果均优于其它模型。此外,该模型对训练集外的口音也有较好的语音识别效果,具有不错的泛化能力。针对流式语音识别模型延迟和识别效果无法兼顾的问题,本文提出了一种基于局部对齐和帧模拟的低延迟流式语音识别模型。针对解码滞后问题,本文提出了局部对齐的训练策略,将解码器的对齐范围向前调整,以剔除其搜索空间中延迟较高的识别路径。针对下文依赖问题,本文引入了基于重构损失的帧模拟模块,在无需等待额外音频缓冲的情况下辅助提供更多下文信息。实验表明,相比基线模型,该模型可在更低的延迟下,实现更好的识别效果。基于上述研究,本文提出了一套面向直播业务的流式语音识别和严禁词屏蔽服务,并针对具体业务场景设计了两套实时性推理方案。测试结果表明,该服务能够有效实现流式的语音识别和严禁词的屏蔽。

关键词：流式语音识别自监督辅助损失多口音低延迟

面向民航陆空通话的中英文流式语音识别技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向民航陆空通话的中英文流式语音识别技术研究

作者：韩琪聪中国民用航空飞行学院

学位级别：硕士

作为空中交通管理的核心通信媒介,无线电陆空通话是联系管制员和飞行员之间的一条关键纽带。在空中交通管理系统中,引入语音识别技术能显著升飞行交通安全并减轻管制员的工作负荷。本文聚焦于通过深度学习策略来增强陆空通话语音识别准... 详细信息

作为空中交通管理的核心通信媒介,无线电陆空通话是联系管制员和飞行员之间的一条关键纽带。在空中交通管理系统中,引入语音识别技术能显著升飞行交通安全并减轻管制员的工作负荷。本文聚焦于通过深度学习策略来增强陆空通话语音识别准确度与实时性能。首先,针对国内陆空通话存在中英文混杂的问题,采用了改进的ConformerCTC/Attention模型,添加语种分类模块来判断输入语音序列的语种,获得语种信息后通过Conformer编码器同时捕捉局部特征和全局信息,并采用CTC和注意力混合解码的多任务联合建模方法。其次,针对陆空通话标注语料很少且难以获取的问题,出采用迁移学习和数据增强方法。在大规模的开源语音数据集中,借助迁移学习进行预训练保存模型参数,随后在民航数据集上进行参数共享和微调,从而降低对目标数据的过度依赖,升模型的泛化性。运用速度扰动、噪声添加、时频掩蔽等数据增强策略,显著扩充了样本库的丰富度与多样性,降低数据之间差异性。最后,为使模型适用于流式识别任务,分别采用了因果卷积、两阶段解码和掩码注意力机制对所出模型的编码器、解码方式和注意力机制进行改进,避免了编码器过多依赖未来信息,更好地进行流式解码。通过实验表明,改进后的模型相较于其他基线模型在民航数据集上混合错误率相对下降,采用迁移学习和数据增强方法可有效高语音识别性能,针对编解码方式采用的三种改进方法可使模型更好的应用于流式识别任务。

关键词：中英文陆空通话流式语音识别迁移学习数据增强多任务联合学习 Conformer-CTC/Attention

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电力调度系统的流式语音识别技术研究

电力调度系统的流式语音识别技术研究

作者：王亚豪内蒙古科技大学

学位级别：硕士

随着电力调度系统规模的扩大和电力网络发展日益复杂,电力调度系统的运行管理难度不断加剧。电力调度员每天需要负责电力设备的检修、线路故障的处理以及调度日志的记录等工作,工作量持续增加,这无疑会增加调度运行指挥失误的风险,同时... 详细信息

随着电力调度系统规模的扩大和电力网络发展日益复杂,电力调度系统的运行管理难度不断加剧。电力调度员每天需要负责电力设备的检修、线路故障的处理以及调度日志的记录等工作,工作量持续增加,这无疑会增加调度运行指挥失误的风险,同时大规模的调度工作也给调度员带来了很大的困难和挑战。伴随人工智能的快速发展,语音识别技术已经成为智能人机交互的主流方式,它被逐渐应用到电力调度系统当中。调度员通过语音识别技术与现场操作人员进行信息交流,能够迅速完成调度指令信息的传递和调度日志的记录,极大提高了电网调度指挥的便捷性和准确性。但是一方面由于传统的语音识别技术是非流式化的,所以一直难以满足电力调度对于处理调度指令信息实时性的需求。另一方面,电力调度具有领域内专业的调度语言特点,如果使用面向公共领域的语音识别技术应用到电力调度系统中,识别效果无法达到实际要求。所以需要专门针对电力调度语言进行特征设计以满足对电力调度系统识别性能的提高。针对上述问题,本课题开展了电力调度系统的流式语音识别技术的研究,并将研究重点集中到实现流式语音识别技术和电力调度专业词汇的识别上,具体研究内容如下:(1)本文借助RNN-T模型的网络结构,并利用其流式化特性,通过引入卷积注意增强的Conformer编码器网络,来增强模型对输入特征的抽取能力,预防模型在编码时重要特征信息的丢失问题。同时采用BERT对模型的预测网络进行微调,让模型有效利用BERT提供的语言学信息,增强模型的语言建模能力,解决RNN-T模型存在的语料数量不足以及训练不充分的问题。另外,提出了改进的截断自注意力算法,来保证模型的实时性和准确性。通过上述的优化改进,在RNN-T模型的基础上联合构建了BAC-T流式语音识别模型。(2)由于电力调度信息中包含有大量的专业词汇和命名实体,所以为了解决电力调度专业词汇识别问题,首先针对电力调度的语言特征进行算法设计,其次将该算法融合到BAC-T模型的预测网络中,使其更适应于处理电力调度流式语音识别任务。然后,本文还添加了额外的Transformer语言模型对BAC-T模型进行二次解码重打分,使得模型在面向电力调度专业词汇上识别性能更好。

关键词：电力调度流式语音识别 Conformer网络 BERT Transformer语言模型