检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于深度孪生后端网络的说话人确认方法研究

基于深度孪生后端网络的说话人确认方法研究

作者：吴阳澄哈尔滨工业大学

学位级别：硕士

文本无关的说话人确认可以被看作是一项二分类任务,旨在利用对应身份的注册语音,在文本内容不限定条件下,确认待识语音是否是同一说话人所说。说话人确认技术常用于身份验证,或用于实现一个开集说话人识别系统。该任务首先需将不定长的... 详细信息

文本无关的说话人确认可以被看作是一项二分类任务,旨在利用对应身份的注册语音,在文本内容不限定条件下,确认待识语音是否是同一说话人所说。说话人确认技术常用于身份验证,或用于实现一个开集说话人识别系统。该任务首先需将不定长的语音信号映射为定长的说话人特征向量,然后进行不同信号特征间的相似度计算。近年来,深度学习方法被广泛引入说话人特征表示环节,即前端部分,使说话人确认的性能得到飞跃式提升。但是,深度模型较少被应用于相似度计算环节,即后端,少数围绕概率型线性分析(Probabilistic Linear Discriminant Analysis,PLDA)方法展开的深度学习工作也囿于PLDA的结构,存在参数量低、学习能力差等问题。本文对基于深度模型的说话人特征相似性度量问题进行了研究,首先,基于PLDA的对角约束,提出了无需PLDA初始化的基于对角约束的深度孪生后端网络(diagonal Siamese-based Backend Network,SBN)以仿真PLDA的计算过程,并对后端模型的学习能力进行了扩展。一方面简化了PLDA的拓扑结构,使其更易于纵向拓展并接纳新参数,从而提升模型的学习能力。另一方面,相似度计算可视为一个测度学习(metric learning)问题,我们据此引入了该领域经典的三元损失目标函数来辅助网络训练。实验表明,在公开语音数据集Vox Celeb上,SBN相较PLDA有11%的相对提升。进一步地,为更好地学习二阶信息,我们放松了对角约束的限制,通过对d SBN的横向拓展,提出了基于块对角约束的深度孪生后端网络(block diagonal SBN,b SBN)和无约束的深度孪生后端网络(unconstrained Siamese-based Backend Network,u SBN)。对于给定的二阶信息矩阵,u SBN对整个矩阵的每个元素都设置对应的参数进行学习,b SBN则采用块对角参数共享的方式降低所需的参数量。我们同样利用三元损失辅助这两网络结构的训练。实验表明,在Vox Celeb数据集上,b SBN和SBN的性能相近,而u SBN则相较PLDA甚至有20%的相对提升。

关键词：说话人确认概率型线性判别分析深度学习孪生网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的说话人提取和确认

基于深度学习的说话人提取和确认

作者：周爱文南昌大学

学位级别：硕士

在实际生活中，目标说话人的语音会被其他说话人的语音干扰。利用干扰后的说话人语音进行说话人确认时，说话人确认系统的性能会大幅下降。因此，多说话人语音的说话人确认工作包括两部分：对目标说话人语音进行提取和对提取出来的语音... 详细信息

在实际生活中，目标说话人的语音会被其他说话人的语音干扰。利用干扰后的说话人语音进行说话人确认时，说话人确认系统的性能会大幅下降。因此，多说话人语音的说话人确认工作包括两部分：对目标说话人语音进行提取和对提取出来的语音进行说话人身份的确认。本文主要研究基于深度学习的多说话人语音的说话人提取和确认方法，主要研究工作如下：　　(1)提出一种基于深度学习的注册说话人模型的说话人确认方法。该方法分别为每个注册说话人训练一个注册说话人模型。首先构建身份特征提取网络，再利用该网络从每个注册说话人的参考语音中提取深度嵌入信息，并取每个注册说话人的所有深度嵌入信息的平均值作为该说话人的深度特征标签。注册说话人网络由数个注册说话人模型组成，然后根据深度特征标签从注册说话人网络中选择相应的注册说话人模型，使用该模型从混合语音中提取目标说话人的语音。最后，将提取出的语音输入到说话人确认网络验证它是否属于目标说话人。实验结果表明，基于深度学习的注册说话人模型的说话人确认方法是有效的。　　(2)提出一种基于注意力机制的注册说话人模型的说话人确认方法。本方法是对上一种方法的改进，利用注意力机制对目标说话人的深度特征标签和混合语音进行处理，使说话人模型增加对混合语音中重要语音帧的关注，降低对无用语音帧的关注，从而更有效地学习目标说话人的信息。使用该方法先提取出目标说话人的语音，再利用提取出的语音实现说话人确认。实验结果表明，基于注意力机制的注册说话人模型的说话人确认方法是有效的。

关键词：说话人确认深度学习多说话人语音目标说话人提取注意力机制

基于领域相关学习方式的远距离说话人确认方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于领域相关学习方式的远距离说话人确认方法

作者：朱泽希南京财经大学

学位级别：硕士

说话人确认是声纹识别的子任务之一,其目标为辨识两段语音的说话者是否相同。随着深度学习的发展,说话人确认的识别精度得到了显著提升,但在录音设备距说话者较远时,混响和噪声会极大遏制模型的性能,尤其是在小样本情况下,匮乏的数据难... 详细信息

说话人确认是声纹识别的子任务之一,其目标为辨识两段语音的说话者是否相同。随着深度学习的发展,说话人确认的识别精度得到了显著提升,但在录音设备距说话者较远时,混响和噪声会极大遏制模型的性能,尤其是在小样本情况下,匮乏的数据难以支撑起模型对语音距离的理解,性能下降问题也就越发突出。对于如何提高远距离识别的鲁棒性,本文在卷积网络的基础上对模型结构和训练方式进行优化,其主要研究内容如下:(1)针对远距离下语音相关领域变化导致的性能下降问题,提出基于环境域嵌入的神经网络模型,将识别过程分为领域理解和说话人确认两个步骤,首先利用预训练的领域分类器将领域变量压缩成低维的环境域嵌入,然后将环境域嵌入和说话人嵌入合并为复合特征,最后由说话人确认模型根据复合特征进行身份判别。针对环境域嵌入对特征提取影响力低的问题,提出基于帧级别特征的通道混合方法,通过重塑并沿通道拼接至帧级别输入后,环境域嵌入可以直接作用于网络浅层,从而提高对特征提取的影响力。针对单领域难以描述远距离环境的问题,同时从录音距离、噪声、性别三个领域分析语音情境。实验表明基于性别+距离嵌入的模型可以取得最佳成果,EER=1.78%,相比基线(EER=3.62%)降低1.84%,此外不同领域之间存在复杂关联,融合相匹配的领域能够叠加增益,融合不相匹配的领域反而会恶化性能。(2)针对小样本下模型难以利用匮乏的样本直接学习远距离语音表征的问题,提出使用三元组损失进行自监督学习,通过构造(锚点,正例,负例)三元组,模型旨在最小化类内距离和最大化类间距离,学习任务从身份识别转为距离优化,大幅降低了训练对数据量的依赖。针对基本的三元组选取策略在选取样本时出现的领域偏差问题,提出Batch-Domain Hard方法,通过在领域取值范围内均匀地采样样本,该方法构造的三元组可以更好地反应距离领域的信息,进而帮助模型在远距离说话人确认上取得更好的性能。将训练数据削减为原本的1/50后,利用有监督学习的基线模型EER从3.62%降低至9.77%,而使用Batch-Domain Hard选取三元组并利用欧式距离度量嵌入相似度的自监督学习方式可以取得更为优异的结果,EER=4.87%。

关键词：说话人确认深度学习远场识别环境域嵌入三元组损失

基于深度神经网络的说话人确认及其轻量化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的说话人确认及其轻量化方法研究

作者：江钟杰华南理工大学

学位级别：硕士

随着智能语音技术的发展,说话人确认技术逐渐进入人们的日常生活与工作中。如何进一步降低说话人确认的错误率、如何在计算资源有限的终端实现说话人确认是目前智能语音处理领域的研究热点。本文探讨基于深度神经网络的说话人确认及其... 详细信息

随着智能语音技术的发展,说话人确认技术逐渐进入人们的日常生活与工作中。如何进一步降低说话人确认的错误率、如何在计算资源有限的终端实现说话人确认是目前智能语音处理领域的研究热点。本文探讨基于深度神经网络的说话人确认及其轻量化问题。论文的主要工作及贡献如下:(1)提出基于注意力空洞残差卷积循环网络(Attentive Dilated Res2Net Recurrent Network,ADRRN)的说话人确认方法。该网络主要包括:卷积初始化层、一维空洞Res2Net组块、残差双向长短时记忆(Residual Bidirectional Long Short-term Memory,RBLSTM)组块、通道注意力统计池化层、加性辐角边界(Additive Angular Margin,AAM)Softmax分类器层。首先,从输入语音样本提取对数梅尔谱并作为ADRRN的输入。然后,ADRRN从对数梅尔谱中学习得到有效刻画局部空间信息和全局时序信息的说话人表征(Speaker Embedding,SE)。最后,将说话人表征输入后端分类器进行评分判决,例如余弦相似度量(Cosine Similarity Metric,CSM)和概率线性判别分析(Probabilistic Linear Discriminant Analysis,PLDA)分类器。采用等错误率(Equal Error Rate,EER)和最小检测代价函数(minimum Detection Cost Function,min DCF)作为主要的性能评价指标。采用选自Vox Celeb1和Vox Celeb2语音数据库的三个公开数据集进行评测。实验结果表明:本文方法在EER和min DCF方面均优于现有说话人确认方法;在计算复杂度和存储空间方面,本文方法也优于大多数基线方法。当采用不同时长语音段作为实验数据时,本文方法具有良好的泛化性能。(2)在(1)的方法中,用于提取说话人表征的神经网络ADRRN的计算复杂度高、存储空间大,不适合部署在计算资源有限的终端。为了克服上述方法的不足,本文提出基于深度表征分块交互的轻量说话人确认方法。设计一个深度表征分块交互模块。该模块包括:初始化层、分块均值池化层、交互层、融合层、分块标准化层。将该模块依次嵌入到ADRRN的卷积初始化层、一维空洞Res2Net组块和RBLSTM组块,从而降低ADRRN的模型复杂度。采用乘加累积操作数(Multiply-Accumulate Operations,MACs)和模型参数量(Model Parameters,MP)作为网络轻量化效果的评价指标。采用选自Vox Celeb1和Vox Celeb2语音数据库的三个公开数据集进行评测。实验结果表明:本文方法在保持或者稍微增加EER和min DCF的情况下,显著降低了计算复杂度和模型参数量。与主流的轻量说话人确认方法相比,本文方法在模型轻量化和说话人确认性能两方面的综合表现更好。此外,本文设计的深度表征分块交互模块可应用于其他深度表征提取网络的轻量化。综上所述,本文主要探讨说话人确认及其轻量化问题,提出基于注意力空洞残差卷积循环网络的说话人确认方法和基于深度表征分块交互的轻量说话人确认方法。本文设计多个实验,并与主流方法进行对比分析,验证本文方法的有效性。

关键词：深度神经网络说话人表征说话人确认轻量化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识蒸馏的文本无关说话人确认研究

基于知识蒸馏的文本无关说话人确认研究

作者：李俊义辽宁工程技术大学

学位级别：硕士

文本无关说话人确认技术通过复杂的网络结构来提升模型性能,然而这会产生巨大的内存消耗和递增的计算成本,使得说话人确认模型难以部署在轻量级设备上。针对这一问题,设计一种嵌入级知识蒸馏的教师学生网络框架来构建模型复杂度较小的... 详细信息

文本无关说话人确认技术通过复杂的网络结构来提升模型性能,然而这会产生巨大的内存消耗和递增的计算成本,使得说话人确认模型难以部署在轻量级设备上。针对这一问题,设计一种嵌入级知识蒸馏的教师学生网络框架来构建模型复杂度较小的学生模型。首先,采用多层次组合连接的时延神经网络,改善说话人向量的表示能力。其次,用附加角裕度损失函数(Additive Angular Margin loss function,AAM-Softmax)代替传统的Softmax损失函数,改善在模型训练过程中说话人向量的类内分辨性,降低参数计算复杂度和收敛难度。再次,建立float16浮点数的权重数值,并结合混合精度训练方法,在改善数值精度损失带来的性能损失的同时降低模型训练所需空间。最后,利用教师模型指导学生模型,缩小学生模型和教师模型之间的性能差距,使得说话人向量的提取模型能适应存储或者计算资源有限的设备。在Vox Celeb1数据集上的实验结果表明,设计的学生模型在实现等错误率(Equal Error Rate,ERR)降低到4.59%时,参数量仅为1.30M。与现有模型相比,提出的学生模型在牺牲小部分模型识别准确率的情况下,大幅压缩了模型参数,为将文本无关说话人确认模型部署在存储空间或计算资源有限的设备上提供了可能。该论文有图20幅,表6个,参考文献55篇。

关键词：说话人确认知识蒸馏时延神经网络模型压缩附加角裕度损失函数

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

说话人确认中基于无监督聚类的得分规整

数据采集与处理 2019年第5期34卷 837-843页

作者：古斌郭武中国科学技术大学语音及语言信息处理国家工程实验室

在说话人确认任务中,得分规整可有效调整测试得分分布,使每个说话人的得分分布接近同一分布,从而提升系统整体性能。直接从开发集中获得针对待识别目标说话人的大量冒认者得分,利用无监督聚类手段对这些得分进行筛选,并采用混合高斯模... 详细信息

在说话人确认任务中,得分规整可有效调整测试得分分布,使每个说话人的得分分布接近同一分布,从而提升系统整体性能。直接从开发集中获得针对待识别目标说话人的大量冒认者得分,利用无监督聚类手段对这些得分进行筛选,并采用混合高斯模型来拟合得分分布,挑选均值最大的高斯单元作为得分规整的参数并将其应用于说话人的得分规整。在NIST SRE 2016测试集上的测试结果表明,相对于其他得分规整算法,采用无监督聚类得分规整的方法可有效提升系统性能。

关键词：说话人确认得分规整无监督聚类

在线全文

学校读者我要写书评

暂无评论

采用M-矢量和支持向量机的说话人确认系统

华中科技大学学报（自然科学版） 2014年第8期42卷 63-68页

作者：龙艳花戴礼荣上海师范大学电气信息系上海200234 中国科学技术大学电子工程与信息科学系安徽合肥230027

将UBM子空间中的说话人MLLR自适应得到的M-矢量应用于SVM中,提出了一种新的说话人确认系统.该系统有效地将扰动属性映射算法整合到SVM核函数中,实现在核空间中直接对M-矢量进行信道补偿,从而提高系统对信道干扰的鲁棒性能.实验结果表明... 详细信息

将UBM子空间中的说话人MLLR自适应得到的M-矢量应用于SVM中,提出了一种新的说话人确认系统.该系统有效地将扰动属性映射算法整合到SVM核函数中,实现在核空间中直接对M-矢量进行信道补偿,从而提高系统对信道干扰的鲁棒性能.实验结果表明:相比传统基于音素类的MLLR-SVM和基于I-矢量的I-vector-SVM基线系统,在不需要大量有文本内容标注的语音数据、复杂度和运算量都很高的自动语音识别系统、因子空间统计量的估计的情况下,本系统可获得与最好的基线系统几乎相当的性能,同时还表现出很强的互补特性.在NIST SRE2008说话人评测数据库上测试结果表明:提出系统的性能与基于I-矢量的说话人确认系统的性能接近,并表现出很强的互补性,融合后的等错误率相对下降了13.3%.

关键词：语音识别说话人确认最大似然线性回归扰动属性映射支持向量机 M-矢量

在线全文

学校读者我要写书评

暂无评论

加性噪声条件下鲁棒说话人确认

电子学报 2019年第6期47卷 1244-1250页

作者：张二华王明合唐振民南京理工大学计算机科学与工程学院

基于非负矩阵分解的语音去噪,在提高语音信号信噪比的同时,也会引起语音失真,从而导致噪声环境下说话人确认系统性能下降.本文提出基于分区约束非负矩阵分解的语音去噪方法(Nonnegative Matrix Factorization with Partial Constrains,P... 详细信息

基于非负矩阵分解的语音去噪,在提高语音信号信噪比的同时,也会引起语音失真,从而导致噪声环境下说话人确认系统性能下降.本文提出基于分区约束非负矩阵分解的语音去噪方法(Nonnegative Matrix Factorization with Partial Constrains,PCNMF),目的是在未知和非平稳噪声条件下提高话人确认系统的鲁棒性.PCNMF在满足分区约束条件的基础上分别构建语音字典和噪声字典.考虑到传统语音训练产生的语音字典往往含有一定的噪声成分,PCNMF通过数学模型产生基音及泛音频谱,在此基础上利用该频谱模仿人声的共振峰结构来合成字典,从而保证语音字典纯净性.另一方面,为了克服传统噪声字典构建方法带来的部分噪声信息丢失问题,PCNMF对在线分离出的噪声样本进行分帧和短时傅里叶变换,然后以帧为单位线性组合生成噪声字典.性能评估实验引入了多种噪声类型,实验结果表明PCNMF可有效提高说话人确认系统的鲁棒性,特别是在未知和非平稳噪声条件下其等错率相比基线系统(Multi-Condition)平均降低了5.2%.

关键词：语音处理说话人确认非负矩阵分解加性噪声

在线全文

学校读者我要写书评

暂无评论

基于PLAR的说话人确认系统的噪音鲁棒性

清华大学学报（自然科学版） 2013年第6期53卷 791-795页

作者：尹聪白静龚宬张陈昊郑方 Waleed H.Abdulla 太原理工大学信息工程学院清华大学计算机科学与技术系清华信息科学技术国家实验室技术创新和开发部语音和语言技术中心奥克兰大学

针对Mel频率倒谱系数(Mel frequency cepstralcoefficient,MFCC)特征的说话人确认系统在干净语音环境下具有很高识别率但在噪音环境下识别率急剧下降的缺点,构建了基于感知对数面积比系数(perceptual log area ratio,PLAR)特征的说话人... 详细信息

针对Mel频率倒谱系数(Mel frequency cepstralcoefficient,MFCC)特征的说话人确认系统在干净语音环境下具有很高识别率但在噪音环境下识别率急剧下降的缺点,构建了基于感知对数面积比系数(perceptual log area ratio,PLAR)特征的说话人确认系统,并对该系统的噪音鲁棒性进行研究。结果表明:PLAR特征具有较强的噪音鲁棒性。将PLAR与MFCC进行特征域和分数域的融合,利用两者之间存在着的互补性,可有效提高说话人确认系统的识别性能。

关键词：说话人确认感知对数面积比系数(PLAR) 鲁棒性融合