检索结果-南通市图书馆

作者：欧阳斌南昌大学

学位级别：硕士

近年来,随着互联网和人工智能技术的不断发展,人机交互逐渐成为人们日常生活中密不可分的一部分。而人机交互的核心技术之一就是语音合成,语音合成是一种将文字转为语音的一种技术。语音合成在虚拟主播、虚拟数字人、语音导航、有声小... 详细信息

近年来,随着互联网和人工智能技术的不断发展,人机交互逐渐成为人们日常生活中密不可分的一部分。而人机交互的核心技术之一就是语音合成,语音合成是一种将文字转为语音的一种技术。语音合成在虚拟主播、虚拟数字人、语音导航、有声小说、智能家居、语音助手等领域有着广泛的应用前景。随着深度学习技术的不断发展,现在的语音合成技术已经能取得不错的效果,做到和人声基本没什么差别。但现阶段的语音合成系统大多存在着训练成本高,数据集制作难的问题,而且很多语音合成系统的说话风格比较单一,语调平淡,缺乏情感,难以满足一些用户的个性化需求。基于此,本文通过对基于深度学习的语音合成技术进行研究,针对上述存在的问题进行改进,并将其应用到对话系统中,主要工作如下:(1)通过研究相关语音合成模型,包括Tacotron、Natural Speech、VITS模型,本文提出了一种基于VITS框架改进的语音合成模型,引入了韵律表征以及韵律预测模块,同时参考了Natural Speech的损失函数进行训练,对于原模型合成出来的音频停顿不自然的问题有一定提升,同时使合成出来的音频更有韵律和情感。(2)针对语音合成训练成本高,数据集制作难的问题。本文首先使用大量数据集对优化后的模型进行训练,得到满意效果后,再使用少量数据进行迁移学习。这样只需前期训练一个预训练模型,后续只需要准备少量数据进行微调,降低了语音合成的成本,满足了个性化语音合成的需求。实验证明只需要10分钟左右的目标说话人数据,就能得到较好的合成效果。同时,针对数据集制作难的问题,本文设计了一个一键制作数据集的程序,只需要准备一段音频,就可以自动完成数据切割、识别、标注等操作,使语音合成更加方便。(3)设计了一个对话系统。将上述模型应用到对话系统当中,使用户能够使用个性化的声音进行对话闲聊。

关键词：深度学习个性化语音合成人机交互 VITS

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

个性化语音合成在船舶导航系统中应用研究

个性化语音合成在船舶导航系统中应用研究

作者：李焕君大连海事大学

学位级别：硕士

随着航海技术和计算机技术的快速发展,船舶导航自动化程度越来越高,但是船舶导航系统警报大都还采用机械式的声响,海员需要用肉眼观察才能得知警报的内容,在一定程度上影响了船舶的安全航行。近些年语音识别技术在航海领域的成功尝试,... 详细信息

随着航海技术和计算机技术的快速发展,船舶导航自动化程度越来越高,但是船舶导航系统警报大都还采用机械式的声响,海员需要用肉眼观察才能得知警报的内容,在一定程度上影响了船舶的安全航行。近些年语音识别技术在航海领域的成功尝试,语音合成技术在航海领域的应用令人期待,因此本文提出将语音合成技术应用到航海领域。本文的主要目的是把船舶导航系统传统式的报警声响转换为自然语音,而且是模拟目标人的语音,目标人可以是船舶最高指挥官即船长的声音,从而实现权威性的导航语音报警。本文以基于隐马尔可夫模型的统计参数语音合成为研究基础,采用了说话人自适应的语音合成方法,通过利用四个用于训练的英文语料库,以及新构建的一个目标人英文语料库,实现了英文个性化语音合成,并成功的应用到ECDIS导航报警上。本文的主要工作内容如下：(1)建立VW Pual实验语料库,包括准备语音文件和前端文本分析。(2)在Linux系统上编译语音合成所需的工具,实现了基于单人语料库的说话人相关(SD, Speaker Dependent)的语音合成。(3)利用说话人自适应技术,实现了个性化英文语音合成。首先对四个训练人的语音数据进行说话人自适应训练,得到平均声音模型,利用约束最大似然线性回归(CMLLR, Constrained Maximum Likelihood Linear Regression)自适应算法获得与目标人相似的语音。实验测评结果表明,与SD语音合成相比,基于说话人自适应的个性化语音合成的语音与目标人VW Pual更相似,其质量也远远高于SD语音合成的语音。(4)通过Visual Studio 2010编程实现ECDIS的16种报警检测,最终在电子海图模拟器上实现了个性化语音报警。

关键词：个性化语音合成导航系统 ECDIS 语音报警

基于多角度融合和注意力机制的小样本个性化语音合成研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多角度融合和注意力机制的小样本个性化语音合成研究

作者：刘浩安徽大学

学位级别：硕士

个性化语音合成是语音合成中一种特定的文本转语音服务,旨在使用目标说话人的少量语音数据为目标说话人克隆语音。在日常生活中的多个领域得到了广泛应用。在小样本个性化语音合成中主要使用基于微调多说话人模型的说话人自适应方法。... 详细信息

个性化语音合成是语音合成中一种特定的文本转语音服务,旨在使用目标说话人的少量语音数据为目标说话人克隆语音。在日常生活中的多个领域得到了广泛应用。在小样本个性化语音合成中主要使用基于微调多说话人模型的说话人自适应方法。虽然该方法在语音的自然度和说话人相似度方面可以获得较好的性能,但目前仍然存在三个问题:(1)在个性化语音合成系统中如何学习到充分的说话人特征以及如何很好地融合说话人特征。(2)目前的大多数语音合成模型主要使用基于声学模型和声码器的两阶段模型。两阶段的模型不仅会加大模型训练的复杂度和时长,还会导致合成语音质量下降,并且在推理语音时具有较慢的速度。(3)说话人自适应的方法一般需要大量目标说话人的语音数据,但往往这是很难获取的。本文围绕说话人特征提取与融合,改进语音合成模型,降低微调数据量这三个方面进行了研究。论文的主要工作如下:(1)本文第一部分工作是提出了一个个性化语音合成系统TDNN-VITS,该系统主要由说话人编码模块和基于VITS的文本到语音(TTS)模块两部分组成。说话人编码模块使用基于时延神经网络的架构,并引入压缩和激励模块(Squeeze Excitation),用来建模语音通道的相互依赖性,通过使用跳跃连接来聚合和传播不同通道的信息。TTS模型使用完全端到端的VITS模型,可以有效避免两阶段模型带来的训练和合成质量问题。在融合说话人特征方面,使用与音素序列、线性谱以及隐变量相结合的多角度融合的方法,可以充分利用说话人编码模块学习到的说话人特征信息。最终实验表明,TDNN-VITS模型能够有效提高语音自然度和说话人相似度,在微调数据方面只需要使用目标说话人的十条语音(大约一分钟)就可以获得很好的效果。(2)在第一部分工作的基础上,为了提高说话人编码模块在小样本场景下对目标说话人的泛化能力,引入注意力机制来增强说话人表示的提取,确保可以在小样本情况下更好的学习到说话人特征信息。为了让TTS模块更好的融合说话人表示,我们将说话人表示与条件层归一化结合后融合到TTS模型中。为了降低模型参数量以及加快模型推理速度,使用基于短时傅里叶逆变换的波形构造解码器来替代原模型中基于上采样的解码器,并对TTS模型进行优化。最终提升了语音合成的质量,减少了模型参数数量以及加快了语音推理速度。

关键词：个性化语音合成文本到语音小样本说话人特征提取深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度语音表征的个性化语音合成研究

基于深度语音表征的个性化语音合成研究

作者：刘大伟天津大学

学位级别：硕士

语音合成(Speech Synthesis),用于将输入文本转化为自然语音。个性化语音合成相较于传统语音合成更为复杂,需要在保证合成语音可懂度和自然度的基础上,对合成语音的说话人信息、口音信息等个性化信息进行有效控制。个性化语音合成的复杂... 详细信息

语音合成(Speech Synthesis),用于将输入文本转化为自然语音。个性化语音合成相较于传统语音合成更为复杂,需要在保证合成语音可懂度和自然度的基础上,对合成语音的说话人信息、口音信息等个性化信息进行有效控制。个性化语音合成的复杂性,以及日益增长的用户需求,使得对说话人和口音信息进行有效控制的多话者语音合成和口音语音合成研究成为了重要的研究课题。目前根据说话人验证或识别模型构建说话人编码器的多话者语音合成模型虽然能够对说话人信息进行有效控制,但这种基于说话人分类任务训练的说话人编码器,忽视了语音信息的丰富性,忽略了语音中的语言学信息和说话人动态信息,进而破坏了合成语音的自然度。与此同时,说话人编码器的改进高度依赖说话人领域模型,这限制了多话者语音合成的进一步发展。目前口音语音合成的相关研究较少,在口音迁移学习中传统的端到端语音合成方法存在着高度依赖大规模口音数据,缺少对口音相关先验知识的应用,以及口音信息与其他语音信息混杂在一起的问题。本文针对上述问题提出使用丰富语音嵌入(包含说话人信息及语言学信息)和深度口音嵌入这两种深度语音表征对说话人信息和口音信息进行有效控制,本文主要贡献如下:(1)本文提出了一种新的基于丰富语音嵌入的多话者语音合成模型。使用基于语音识别的语音嵌入提取模型提取包含说话人信息和语言学信息的丰富语音嵌入,并在模型训练过程中显式增加说话人标签,进一步提升语音嵌入对说话人信息的控制能力。特征可视化分析以及主客观评价均表明,该模型不仅能够对说话人信息进行有效控制,而且还显著提升了合成语音的自然度。(2)本文提出了一种新的基于口音先验知识引导及深度口音嵌入的口音语音合成模型。使用基于说话人标签和口音变调相关声学特征作为软标签构建的自监督口音编码器提取深度口音嵌入,并在语音合成声学模型中增加对口音变调相关声学特征的预测,提升模型对口音信息的建模和控制能力,并且在所有模型训练过程中均采用无监督数据过滤和递进式数据增广策略。实验结果证明该模型能够对口音信息进行有效控制。综上,本文提出的基于深度语音表征的个性化语音合成技术具有较高的理论研究和实际应用价值。

关键词：语音合成多话者语音合成口音语音合成个性化语音合成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向小样本的个性化中文语音合成研究

面向小样本的个性化中文语音合成研究

作者：杨宜涛华南理工大学

学位级别：硕士

在语音合成技术日趋成熟的今天,人们对合成语音的要求不再停留于自然可懂的层面,而是希望语音合成系统可以更加多样化和个性化,即可以根据人们的需求,个性化地定制特定说话人的声音,此类技术也称之为语音克隆。但在实际的系统搭建过程中... 详细信息

在语音合成技术日趋成熟的今天,人们对合成语音的要求不再停留于自然可懂的层面,而是希望语音合成系统可以更加多样化和个性化,即可以根据人们的需求,个性化地定制特定说话人的声音,此类技术也称之为语音克隆。但在实际的系统搭建过程中,个性化中文语音合成系统往往会受限于各种小样本数据问题,而无法保证合成系统的泛化性和准确性。首先,在语音克隆过程中,需要定制的目标说话人的语音数据往往十分稀少,因而无法使用大规模的数据驱动方法对目标说话人的音色进行建模,而现有的基于小样本的语音克隆方法存在训练步骤繁琐、模型泛化性不足等问题。此外,对于个性化中文语音合成系统而言,前端多音字消歧模块也饱受数据问题的困扰。现有的多音字消歧模型往往需要海量的多音字标注文本,但此类数据通常需要人工标注,收集代价十分昂贵,而仅存的开源数据集存在数据量少、数据质量差等问题,难以保证多音字消歧的质量,从而导致合成语音出现字音错误。针对以上问题,本文进行了如下工作。(1)提出了基于音素级别说话人特征的小样本语音克隆方法。该方法提取和利用少量目标说话人语音中的细颗粒说话人特征,并引入注意力机制对各音素间的说话人特征进行迁移,辅以说话人随机样本的训练策略,从而提高对目标说话人的语音的利用效率,在小样本场景下实现高质量的语音克隆。(2)提出了基于元学习的多音字消歧方法。该方法不再将多音字消歧任务作为机器学习中的分类任务进行处理,而是通过特征对比的模式,将多音字中不同读音的语义特征进行对比和区分,以确定多音字的读音。最后的实验结果表明,本文提出的小样本语音克隆方法,相比现有方案更具泛化性,可以根据少量目标说话人语音数据克隆出兼具自然度、音色还原度的语音。同时,本文提出的多音字消歧方法在低质量的训练数据集上仍然表现出了优秀的消歧性能,相比现有方案展现了充足的泛化性能,并且对于训练数据集中未曾出现过的多音字也有一定效果。

关键词：个性化语音合成语音克隆多音字消歧小样本语音合成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的中文语音合成技术研究与实现

基于深度学习的中文语音合成技术研究与实现

作者：何东升东南大学

学位级别：硕士

语音合成作为如何将机器智能化的关键研究领域,旨在解决如何让机器发声的问题。随着社会智能化程度越来越高,智能语音设备已经融入了人们的生活,机器发声的质量变得越来越重要。近年来深度学习技术不断发展,研究人员将深度学习技术应用... 详细信息

语音合成作为如何将机器智能化的关键研究领域,旨在解决如何让机器发声的问题。随着社会智能化程度越来越高,智能语音设备已经融入了人们的生活,机器发声的质量变得越来越重要。近年来深度学习技术不断发展,研究人员将深度学习技术应用于语音合成领域,使生成语音的质量相比于传统的语音合成技术有了很大的提升。但是目前仍然存在一些问题,比如:研究主要集中在英语领域,中文语音合成还有很大的探索空间;合成语音的自然度还有待提高;对个性化语音生成要求较高等。本文围绕以上问题,基于深度学习技术对中文语音合成进行研究,主要工作和贡献如下:(1)在中文语音合成数据方面,提出了一种中文语音数据集的制作方法并制作了一个中文语音合成数据集。本文充分利用网络上大量高质量的语音数据源且在制作中引入一些自动化方法,利用该方法制作了一个名为CFNAS的高质量的中文语音合成数据集,并基于Transformer模型实现了高自然度的语音合成,验证了CFNAS数据集的有效性。与传统的语音数据集制作方法相比,本文提出的方法在提高制作效率的同时降低了制作成本。(2)在提升合成语音质量方面,为了减少中文语音合成中的出错,本文在模型中引入了局部注意力机制,指导模型更有效的学习输入文本与语音帧之间的对齐。实验表明基于局部注意力的Transformer模型可以有效的减少合成句子中的跳词、重复、韵律不自然现象并且有效提升了模型在长文本合成时的表现。(3)在基于少量数据的个性化语音合成方面,本文提出了两种解决方法。第一种是自适应训练方法,使用约10分钟的目标说话人语音数据在一个预训练模型上进行自适应训练即可,无需改动模型,实现简单且合成的语音相似度高。第二种基于说话人编码方法,使用目标说话人几秒钟的语音数据经过说话人编码网络进行特征提取,然后与语音合成模型融合,网络就可以根据提取的目标说话人声音特征进行个性化语音合成。该方法在训练过程中需要大量的多人语音数据但是大大降低了对目标说话人数据量的需求,且一个模型可以适用于所有说话人。综上所述,本文研究与实现的中文语音合成方法在一定程度上提升了中文语音合成数据集的制作效率和合成语音的质量,另外提出自适应训练和说话人编码两种基于少量数据的个性化语音合成方法,有较强的应用价值。

关键词：深度学习语音合成 Transformer模型个性化语音合成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

语音和人脸图像的跨模态生成方法研究

语音和人脸图像的跨模态生成方法研究

作者：胡晓晟天津大学

学位级别：硕士

本论文研究的内容是基于语音和人脸图像跨模态生成方法的研究,包含两个任务。第一个任务是从语音重建人脸,第二个任务是人脸图像的个性化语音合成。对于语音重建人脸任务,在本文中,设计了一种基于编码器-解码器结构模型,并将残差先验信... 详细信息

本论文研究的内容是基于语音和人脸图像跨模态生成方法的研究,包含两个任务。第一个任务是从语音重建人脸,第二个任务是人脸图像的个性化语音合成。对于语音重建人脸任务,在本文中,设计了一种基于编码器-解码器结构模型,并将残差先验信息的思想引入模型,提出一种基于注意力的残差先验语音重建人脸模型,该模型将面部先验特征与语音特征合并,送入人脸特征解码器以形成最终的人脸图像。本文提出一种联合损失函数,该函数是L2范数,L1范数和负余弦损失的加权线性组合,以通过比较最终语音特征和真实人脸特征训练模型。在实验部分,使用AVSpeech数据集对模型效果进行定性和定量的评估,实验结果表明,引入残差先验信息能加快模型训练的收敛速度,此外,本论文提出的语音重建人脸模型能够生成与真实说话人非常相似的人脸图片。本论文提出根据说话人的人脸图像合成个性化语音的任务。根据语音重建人脸任务的思想,提出残差先验的人脸图像个性化语音合成模型,该模型包含语音特征提取网络,语音合成器网络和人脸特征提取网络。针对该模型设计联合损失函数,该函数是L1损失,Triplet Loss损失和负余弦损失的线性组合。定性和定量的实验结果表明,本论文提出的模型通过说话人人脸图像合成的语音在自然度上非常接近人类语音的效果,以及在相似度上也接近真实说话人的语音。

关键词：跨模态人脸重建个性化语音合成残差学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于MOOC数据集的语音合成研究

基于MOOC数据集的语音合成研究

作者：陈曦东南大学

学位级别：硕士

语音合成技术是人机间语音交互的关键技术,旨在研究如何让机器发声的问题。随着语音合成技术广泛应用于人们生活中的各种场景,人们对合成语音的质量和自然度有了更高的要求。近年来基于深度学习的语音合成技术合成语音的质量相较于传统... 详细信息

语音合成技术是人机间语音交互的关键技术,旨在研究如何让机器发声的问题。随着语音合成技术广泛应用于人们生活中的各种场景,人们对合成语音的质量和自然度有了更高的要求。近年来基于深度学习的语音合成技术合成语音的质量相较于传统语音合成技术有了很大的提升。但是目前基于深度学习的语音合成仍然存在一些问题,比如:语音合成实验使用的数据集大多是英文数据集,中文数据集数量少并且制作流程复杂;现有语音合成模型合成语音的质量和自然度还有待提高;对少语料的个性化语音合成要求高等。本文围绕以上问题,基于深度学习技术对中文语音合成进行研究,主要工作和贡献如下:(1)在中文语音数据集构建方面,本文提出了一种中文语音数据集的制作方法并基于此方法制作了中文语音数据集MOOC。本文充分利用MOOC网站上的课程视频获得语音数据源并且在制作中改变了传统语音数据集的制作流程,引入了一些自动化方法,制作了MOOC语音数据集。和传统语音数据集的制作方法相比,本文提出的方法提高了制作的效率并且降低了制作成本。(2)在提升合成语音质量和自然度方面,本文提出了基于Tacotron 2的中文语音合成模型,该模型实现了高质量和高自然度的语音合成,实验验证了本文语音合成模型在MOOC数据集上的有效性和本文语音合成模型在不同语音数据集上的普适性。(3)在基于少量说话人语料的个性化语音合成方面,本文提出了两种解决方法。第一种是模型微调的方法,使用约20分钟的目标说话人语音数据在已有的语音合成模型上继续进行训练调整模型的部分网络层参数。该方法实现简单且当训练合成模型数据集的说话人和目标说话人性别相同时,合成的语音质量和相似度较高。第二种是基于Cycle GAN-VC2的语音转换方法,将已有的语音通过语音转换模块得到具有目标说话人声音特征的语音。该方法所需目标说话人语料少,且当源说话人和目标说话人性别相同和性别不同时都能得到质量和相似度较高的语音。

关键词：深度学习语音合成 MOOC数据集 Tacotron2模型个性化语音合成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于信息增加的端到端语音合成研究

基于信息增加的端到端语音合成研究

作者：周稚鲲北京邮电大学

学位级别：硕士

语音合成是一个从文本序列映射到语音序列的序列映射问题,其中语音序列的长度要远大于文本序列的长度,并且语音信号包含了很多文本当中没有的信息,例如语速、语调、重音等信息。因此,语音合成可以视一个信息增加问题。其次,每个人发音... 详细信息

语音合成是一个从文本序列映射到语音序列的序列映射问题,其中语音序列的长度要远大于文本序列的长度,并且语音信号包含了很多文本当中没有的信息,例如语速、语调、重音等信息。因此,语音合成可以视一个信息增加问题。其次,每个人发音器官的差异造成了每个人会产生不同的语音,因此语音合成还存在个性化的信息增加。本文基于语音合成的以上信息增加特点,对语音合成的内容信息增加和个性化信息增加问题进行了研究。1)提出了基于三基元的语音合成方法人在发音时,会根据文本按顺序朗读每一个文本单元的发音,在这个过程中,句子中的每一个发音基元都包含了起始、持续、结束的三个阶段的状态。在传统的基于隐马尔可夫模型的语音合成系统中,很好地体现了以上过程。本文提出结合语音合成过程的这一特点使用三基元模块应用到端到端的语音合成模型中。该方法合成的语音在MCD指标上约1.1左右的提升。2)研究了添加预训练词向量的语义信息增强方法每一个文本基元在语音中都有对应的独特的发音风格。采用注意力的方式让文本编码和变长的个性化风格编码进行搜索匹配后,文本编码能在变长的个性化风格编码中查找到和自身发音最相关的语音特征。然后根据匹配到的语音特征加权求和。在以上过程中,如果文本编码缺少语义信息,那么文本编码在和变长的个性化风格编码对同音字进行搜索匹配时有可能出现匹配错误的问题。本文针对这一问题,在编码中添加了预训练的词向量,从而将语义信息加入到个性化特征中搜索匹配中,使模型不只根据发音的信息进行搜索匹配,还根据文本的语义对发音相关的个性化特征进一步筛选,得到发音、语义内容同时相关的参考音频特征。3)提出了基于采样和标识位的语速控制方法目前已有的个性化语音合成方法主要利用了数据集的残差信息。但目前使用的语音合成数据集中的语音数据之间的残差信息也主要是说话人的信息,并没有明确体现出语速上的差异。在现有的开源的语音合成数据集中,也缺少针对语速控制的语音合成数据集,因此前文中提到的方法难以方便地应用到语速控制这一议题中。本文针对这一问题提出了通过采样的方式对语音合成数据集进行数据增强,同时采用标识位的方法标识语音的语速信息。最终能够一定程度满足语音自然度的条件下实现个性化语速控制。

关键词：端到端语音合成信息增加个性化语音合成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

藏语安多方言端到端语音合成方法研究

藏语安多方言端到端语音合成方法研究

作者：罗敏西北师范大学

学位级别：硕士

深度学习的发展,为语音合成的研究开辟了一条新的道路,传统的语音合成在实现和设计上依赖于复杂的流程并且对语言学以及音频领域的专业知识要求较高,在实现过程中受到一定的限制。基于深度学习的语音合成技术简化了传统语音合成方法的... 详细信息

深度学习的发展,为语音合成的研究开辟了一条新的道路,传统的语音合成在实现和设计上依赖于复杂的流程并且对语言学以及音频领域的专业知识要求较高,在实现过程中受到一定的限制。基于深度学习的语音合成技术简化了传统语音合成方法的复杂流程,降低了合成难度,在合成语音的质量和速度上都超过了传统的语音合成技术。我国作为一个多民族国家,民族语言和地方方言比较丰富,藏族是我国少数民族之一,使用藏语作为母语的少数人民众多,随着语音合成技术的不断成熟,对民族语言语音合成的要求也随着深度学习的发展进一步提高。研究藏语语音合成不仅可以保护藏族民族方言,还有利于实现藏族地区智能设备的愿望,对藏族地区的教育文化事业也具有极其重要的意义。目前对于藏语安多方言的语音合成研究较少,合成出的语音在稳健性、语速可控性、个性化语音合成方面还有很大的提升空间。针对以上不足,本文利用深度学习端到端框架,以自回归方法和非自回归方法探究藏语安多方言语音合成并且在改进的模型基础上实现个性化语音合成,本文主要工作如下:1.建立了一个面向藏语安多方言的语音合成语料库。本文收集并整理了藏语安多方言语料资源,并在其基础上进一步扩充和完善,最终建立了一个包含19288句,共36个说话人的藏语安多方言语料库,基本涵盖了安多方言所有的发音特点;2.设计了三种端到端藏语安多方言的语音合成方案,分别为基于自回归方法的Tacotron和Tacotron2模型并对其进行改进和优化,以及基于非自回归方法的FastSpeech模型并对其进行改进和优化。实验结果表明,非自回归模型可以解决自回归模型带来的不足,比如任意跳词、漏词及语速不可控的问题,在一定程度上提高了藏语语音合成的质量;3.提出基于说话人编码的藏语安多方言个性化语音合成方案,将改进后的自回归语音合成Tacotron2作为合成器,并在编码阶段加入目标说话人音频,说话人编码器提取目标说话人声音特征后进入合成器合成,最终可得到任意文本内容的具有该目标说话人声音特征的语音音频。实验结果显示,利用该方案合成出的语音和原始音频具有一定的相似性。

关键词：藏语安多方言非自回归个性化语音合成端到端模型