检索结果-南通市图书馆

作者：赵隆轩天津大学

学位级别：硕士

语音逆推是为了从语音信号中获取发音器官的运动情况,即实现从声学信号到发音器官运动的反转。到目前为止,由于受到发音器官运动数据的限制,实现一个说话人无关的语音逆推任务仍然是一项挑战。此外,当前大多数工作仅仅使用语音声学信号... 详细信息

语音逆推是为了从语音信号中获取发音器官的运动情况,即实现从声学信号到发音器官运动的反转。到目前为止,由于受到发音器官运动数据的限制,实现一个说话人无关的语音逆推任务仍然是一项挑战。此外,当前大多数工作仅仅使用语音声学信号作为唯一输入信息,从而因为信息不足导致模型性能出现瓶颈。为解决上述两个问题,论文提出基于语音分解和辅助特征的多模态语音逆推模型。首先,为适应说话人无关的语音逆推,通过预训练语音分解模块,将语音声学特征分解为说话人身份特征向量和语义内容特征向量,作为新的个性化声学特征。其次,为进一步提高语音逆推模型的性能,提出一种全新的唇部辅助特征预测模块和音素辅助特征预测模块,基于语音分解模块得到的个性化声学特征来估计唇部特征表示和音素特征表示。最后,为增强这些特征表示之间的相关性,通过将个性化声学特征,唇部辅助特征和音素辅助特征进行转换,构建多模态特征融合模块。在三个公开数据集(MNGU0、MOCHA-TIMIT和HPRC)上的实验结果表明,在说话人有关的情况下,与仅使用语音特征作为唯一输入的最新技术相比,论文的方法将均方根误差降低0.25,并将皮尔逊系数提高2.0%。更重要的是,对于说话人无关的情况,均方根误差减少0.29,皮尔逊系数增加5.0%。

关键词：语音逆推语音分解个性化声学特征辅助特征说话人无关

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语音分解的零空间追踪方法及其应用研究

基于语音分解的零空间追踪方法及其应用研究

引用

作者：陈丹丹广西师范大学

学位级别：硕士

随着计算机和电子信息技术的飞速发展,数字信号处理技术的研究和应用越来越受到人们的重视。研究的热点问题之一是如何将一个非平稳信号自适应地分解为几个简单的分量,从而有利于信号的分析和研究。语音信号是典型的非平稳信号,单通道... 详细信息

随着计算机和电子信息技术的飞速发展,数字信号处理技术的研究和应用越来越受到人们的重视。研究的热点问题之一是如何将一个非平稳信号自适应地分解为几个简单的分量,从而有利于信号的分析和研究。语音信号是典型的非平稳信号,单通道语音分离是信号分解典型而热门的应用。随着人工智能时代的到来,人机交互的需求越来越大,许多需要语音交互的实际场景中只有一个声道信号,因此如何在单一信道内将语音从混合信号中分离出来,受到研究人员的普遍重视。零空间追踪(Null space pursuit,NSP)算法是一种在非线性信号处理领域上有着强大优势的新型信号分析方法,在信号的分解和去噪中有着广泛的应用,为语音的分解和分离技术提供了新思路。本文对NSP算法的理论知识和应用场景进行了深入讨论,针对语音分解提出了NSP算法的改进方法,并将其应用到单通道语音分离研究中。具体研究工作总结如下:第一,组成语音信号的基波和谐波是相干且独立的,我们称这些相干且独立的子成分为语音信号的本征子成分。本文分析了语音信号的特点,利用NSP算法可以把信号分解成多个局部窄带子成分与残差之和的优势,引入语音信号基频信息和语音信号本征子成分之间的频谱约束,提出了针对语音本质分解的基于多算子和频谱约束的NSP(Multi-Operator and Spectrum Constraint based NSP)MOSC-NSP算法。实验证明,MOSC-NSP算法有高达0.99的频域分辨率;在把语音信号分解成其真实构成的本征子成分的任务中,相比于现有的多种信号分解算法,MOSC-NSP算法在均方误差和算法运行时间这两个指标上都有优势。第二,MOSC-NSP算法应用于单通道语音分离时,需要将混合语音的基频作为先验知识。鉴于传统方法在混合语音基频检测方面的局限性,本文提出了一种基于同步压缩小波变换的基频检测算法。该算法在小波变换的基础上,将混合语音信号变换为具有高频域分辨率和良好能量聚集性的时频图。利用语音帧之间的连续性和时频单位最大能量准则的约束,通过提取时频脊线的方法能有效检测出混合语音中源语音的基频。第三,传统的单通道语音分离算法存在谐波分量在频域上靠得太近,甚至重叠的问题,造成分离效果不佳。根据MOSC-NSP算法在低频处有分辨率高的优势,本文将混合信号的高频部分搬移到低频处进行分离;利用源信号的频谱信息判断提取的子成分是否发生频谱混叠,在发生混叠的地方应用独立成分分析算法分离混叠的子成分。实验证明,MOSC-NSP算法融合频谱搬移策略和独立成分分析算法,能较好地提高单通道语音分离系统的性能。

关键词：零空间追踪频谱约束语音分解单通道语音分离

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的语音识别前端处理

基于深度神经网络的语音识别前端处理

引用

作者：文铭中国科学技术大学

学位级别：硕士

随着科技的快速进步,语音识别技术的性能越来越好,其应用场景越来越广泛。然而,语音识别所在环境极为复杂,使得鲁棒性语音识别的研究的意义越来越重要。近年来,深度神经网络理论的快速发展使得这一方法的应用场景不断增加,已经广泛应用... 详细信息

随着科技的快速进步,语音识别技术的性能越来越好,其应用场景越来越广泛。然而,语音识别所在环境极为复杂,使得鲁棒性语音识别的研究的意义越来越重要。近年来,深度神经网络理论的快速发展使得这一方法的应用场景不断增加,已经广泛应用到了计算机视觉、自然语言处理等多个方向。本文使用深度神经网络的方法,针对语音前端处理的两个问题进行探讨:语音分离与波束生成。(1)针对语音分离问题,我们采取基于深度神经网络的掩蔽值估计的方法,对不同语音特征、优化目标以及损失函数进行介绍,并通过实验进行对比。同时,本文将人声分离问题常用的损失函数Deep Cluster应用在了音乐噪声集上,得到了较好的效果,在STOI和WER指标上分别提升了约0.01和1%。(2)针对波束生成问题,我们描述了两种基于深度神经网络的方法:一种是经典的GEV波束生成方法,这种方法将会利用到上一节所用到的掩蔽值估计模型;另一种是本文所提出的端到端波束生成方法。其次,我们通过实验确定了关于这两种方法的重要参数。最后我们验证了这两个这种方法的有效性,GEV波束生成方法相比基于传统方法的工具箱BeamformIt相比在双通道和六通道测试集上WER指标分别提升了约0.5%和0.6%,而端到端波束生成方法相比GEV波束生成方法在这两个数据集上分别提升0.2%和0.2%

关键词：语音识别深度神经网络语音前端语音分解波束生成深度学习

来源：

同方学位论文库评论