检索结果-南通市图书馆

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

针对长尾问题的二重加权多音字消歧算法

中文信息学报 2022年第11期36卷 169-176页

作者：高羽熊一瑾叶建成美的集团(上海)有限公司AI创新中心上海201702

数据的长尾分布问题是NLP实践领域中的常见问题。以语音合成前端的多音字消歧任务为例,多音字数据的极度不均衡、尾部数据的缺乏,影响着语音合成系统的工业实用效果。该文观察到,汉语多音字的分布在“字符”与“字音”两个维度上都呈长... 详细信息

数据的长尾分布问题是NLP实践领域中的常见问题。以语音合成前端的多音字消歧任务为例,多音字数据的极度不均衡、尾部数据的缺乏,影响着语音合成系统的工业实用效果。该文观察到,汉语多音字的分布在“字符”与“字音”两个维度上都呈长尾特性,因此该文针对性地提出一种二重加权算法(Double Weighted,DW)。DW算法可分别与两种长尾算法:MARC,Decouple-cRT结合,进一步提升模型性能。在开源数据和工业数据上,DW算法较基线模型和两种原始算法取得了不同程度的准确率提升,为多维长尾问题提供解决方案与借鉴思路。

关键词：多音字消歧长尾分布重加权解耦特征与分类器

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

用决策树指导TBL进行多音字消歧

计算机工程与应用 2011年第12期47卷 137-140页

作者：刘方舟周游湖南师范大学数学与计算机科学学院长沙410081 湖南财政经济学院应用数学系长沙410205

多音字消歧是普通话语音合成系统中字音转换模块的核心问题。选择了常见易错的33个多音字和24个多音词作为研究对象,构建了一个平均每个多音字(词)5000句的语料库,并且提出了一种结合决策树和基于转换的错误驱动的学习(Transformation-B... 详细信息

多音字消歧是普通话语音合成系统中字音转换模块的核心问题。选择了常见易错的33个多音字和24个多音词作为研究对象,构建了一个平均每个多音字(词)5000句的语料库,并且提出了一种结合决策树和基于转换的错误驱动的学习(Transformation-Basederror-driven Learning,TBL)的混合算法。该方法根据决策树的指导,自动生成TBL算法的模板,避免了手工总结模板这一费时费力的过程。实验结果表明,该方法生成的模板与手工模板性能相当,其平均准确率达90.36%,明显优于决策树。

关键词：多音字消歧字音转换决策树基于转换的错误驱动的学习(TBL)

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向中文语音合成的多音字消歧研究

面向中文语音合成的多音字消歧研究

作者：万宏志安徽大学

学位级别：硕士

语音合成是一种将文本转换成语音的技术,是实现人机语音交互的核心技术之一。随着近年来智能手机等终端设备的高速发展,用户对语音合成系统的效果有了更高的要求。本文研究的多音字消歧是语音合成领域中一项重要的研究任务,它的目的是... 详细信息

语音合成是一种将文本转换成语音的技术,是实现人机语音交互的核心技术之一。随着近年来智能手机等终端设备的高速发展,用户对语音合成系统的效果有了更高的要求。本文研究的多音字消歧是语音合成领域中一项重要的研究任务,它的目的是识别用户输入的文本数据中多音字的正确发音,广泛应用于语音合成系统前端的字形转音素(Grapheme to phoneme,简称G2P)模块。然而,目前开源的多音字消歧数据集十分稀少。由于多音字消歧任务的数据集存在双重长尾分布的特点,使得大量多音字的尾部发音经过采样获取的数据也极其少,严重影响了模型的泛化能力。另外,词信息有助于判断多音字的正确发音,然而在自然语言处理领域中,大部分模型无法对词信息进行建模。因此,本文针对这些问题主要做了以下几点工作:(1)为了解决目前多音字消歧数据集缺稀以及数据存在的双重长尾分布问题,本文通过一种新的采样策略来构建并且开源了一个面向现代常用多音字的多音字消歧数据集(Modern Common Polyphones,简称MCP)。对于每个多音字的数据,本文采用均匀采样的方式,所有多音字均采样相同数量的语句从而避免多音字数据长尾分布的问题。对于多音字每个发音的数据,则是尽量模拟数据库的发音数据分布来进行采样。最终构建了一个涉及114个多音字以及包含57000条语句的多音字消歧数据集。为了进一步缓解每个多音字的发音数据的长尾问题,本文提出了加权Softmax,并且将该方法应用于BERT模型的分类器部分,根据目标多音字的发音在其训练集中出现的频率,对每个发音的分类结果进行不同程度的加权,从而使模型能够自行调整每个多音字发音的影响力。另外,本文使用了三个开源的G2P系统以及三个常用的深度学习模型对数据集进行实验,为后续研究人员的实验提供了基准分数。最后,通过对比试验表明本文提出的方法能够有效地缓解多音字发音数据的长尾问题。(2)为了利用词特征来增强模型的性能,本文提出了G2PL模型(Grapheme to Phoneme with Lexicon),该模型提取了对识别多音字发音最有效的词特征,并且将这些词特征与字符特征进行融合来辅助多音字正确发音的预测。另外,本文使用G2PL模型分别在其他开源数据集和MCP数据集上与三个常用模型进行对比实验,实验结果表明G2PL模型能够利用有效的词信息从而提高预测多音字发音的准确率。综上所述,本文构建了一个多音字消歧数据集,并且为了展示数据集的通用性,分别在长尾问题以及融合词特征方式两个不相关的挑战上提供了解决方案。多音字消歧任务不仅是语音合成领域上的一个难点,也是语音合成系统中的关键任务,它直接影响了一个语音合成系统是否能够生成正确发音的语音。因此,多音字消歧任务的研究不仅能解决语音合成中的难题,更能够促进相关应用的实现与落地,具有重大的现实意义。

关键词：语音合成 BERT 多音字消歧字形转音素

基于Transformer的非自回归中文语音合成方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Transformer的非自回归中文语音合成方法研究

作者：蔡玥清武汉理工大学

学位级别：硕士

得力于深度学习技术,现阶段语音合成过程已得到极大地简化,合成语音的自然度也得到了极大地提高。但在中文语音合成领域中仍存在着一些难点和特色:（1）当使用音素作为输入时,中文语音合成模型需要前端处理网络将中文文本转化为音素,并... 详细信息

得力于深度学习技术,现阶段语音合成过程已得到极大地简化,合成语音的自然度也得到了极大地提高。但在中文语音合成领域中仍存在着一些难点和特色:（1）当使用音素作为输入时,中文语音合成模型需要前端处理网络将中文文本转化为音素,并且现阶段缺少开源的＜文本,拼音＞数据集进行模型训练;（2）中文语音合成模型存在训练时间较长、合成质量有待提高的问题;（3）语音克隆模型存在合成语音相似度不高的问题。本文围绕中文语音合成前端、中文语音合成模型以及中文语音克隆模型三个方面进行研究,论文主要的研究工作如下:（1）为缓解中文语音合成模型的建模压力,优化中文语音合成效果,本文使用音素作为模型输入。随后,为实现将文本转化为音素,并解决前端处理网络缺少文本-拼音数据集进行训练的问题,本文设计了基于规则约束的文本-音素转换器,并使用它为中文语音合成模型服务。实验结果表明,本文提出的方案可实现替代现有的pypinyin工具库,并且使用ALBert作为分词以及词性标注模型时可提供95.4%的文本-拼音转化准确率。除此以外,本文的基于规则约束的文本-音素转换器还可有效地减少构造数据集或复杂规则时的人工消耗。（2）为解决中文语音合成过程中训练、合成速度慢的问题,本文提出非自回归的中文语音合成方案。该方案提出了基于Transformer的Fast Speech2-GAN梅尔频谱生成器,并使用Multi-band Mel GAN作为声码器。Fast Speech2-GAN以Fast Speech2模型为核心结构,添加Tacotron2模型的Post Net结构对梅尔频谱特征进行微调,并采用生成对抗网络训练方式优化Fast Speech2中的模型参数。在Baker数据集上的实验结果表明,该方案可充分地利用GPU的并行性。相较于添加引导注意力机制的Tacotron2模型,在Baker数据集上该模型训练速度提高了11倍,合成速度提高了8倍;同时本文模型在Baker数据集上相较于Fast Speech2可获得更小的MCD和更高的MOS,这表明本方案使用的生成对抗网络训练方式可对生成器参数进行优化,并帮助生成器合成质量更高的语音。（3）为解决中文语音克隆模型合成语音相似度不高的问题,本文在Fast Speech2-GAN中文语音合成模型基础上,添加基于x-vector的声纹识别模型作为中文语音克隆模型的声音编码器,可实现从少量语音样本中有效地提取目标话者的声纹特征,合成出与目标话者音色类似的语音。同时为提升模型的鲁棒性,本文使用数据增强后的数据集进行模型训练。实验结果表明,在Aishell数据集上使用数据增强方法分别帮助基于d-vector声纹识别模型和基于x-vector的声纹识别模型降低2.051%和2.249%等错误率;在Aishell数据集上,相较于基于d-vector声纹识别模型,本文声纹识别模型可降低0.21%的等错误率;相较于基于d-vector声纹识别模型作为声纹编码器时,本文提出的中文语音克隆方案在Baker数据集上可获取更低的MCD、更高的自然度MOS和相似度MOS。

关键词：中文语音合成中文语音克隆多音字消歧 Transformer 生成对抗网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

智慧广播节目生产系统的设计与实现

智慧广播节目生产系统的设计与实现

作者：邱珂西华大学

学位级别：硕士

随着科学技术的蓬勃发展,互联网和人工智能在广播电视行业有着广泛应用。和传统广播节目生产流程相比,通过人工智能赋能节目生产,使得广播节目的生产智慧化、高效化,更符合广播台的需求。人工智能技术是广电行业发展的重要驱动力,为其... 详细信息

随着科学技术的蓬勃发展,互联网和人工智能在广播电视行业有着广泛应用。和传统广播节目生产流程相比,通过人工智能赋能节目生产,使得广播节目的生产智慧化、高效化,更符合广播台的需求。人工智能技术是广电行业发展的重要驱动力,为其带来了更多可能性和机会,与人工智能技术深度融合是广电行业发展的重要方向。为了实现广播节目生产自动化,本文使用.Net平台,基于Prism框架设计并实现了一套智慧广播节目生产系统,重点实现了广播电台新闻节目的生产自动化功能,本文研究和完成的主要工作如下:首先,针对传统广播节目制作周期长的问题,为了提升节目生产效率,进行了详细的需求分析,并基于需求分析完成了系统的功能、流程及整体架构设计。本系统包括四大功能模块,分别是用户管理、新闻生产、节目管理和系统管理。其中新闻生产分为新闻管理、新闻查看和语音合成三个子功能,节目管理分为节目上载和节目管理两个子功能。本系统的架构包括数据库、后端和前端三个部分,后端依次通过服务层、业务层和数据访问层来实现和数据库与前端的交互,前端实现了客户端界面,完成和用户的交互。其次,针对新闻节目语音自动合成功能中出现多音字发音错误的问题,研究了一种基于深度学习的多音字消歧方法。模型训练阶段,将多音字所在词及其前后词作为特征,引入预训练词向量对词语在向量空间中进行特征表示,并使用双向门控循环单元获取文本特征序列前后词之间的关系,通过添加多头自注意力机制及层归一化完成对模型的改进,最后输出某个多音字在句子中的正确发音。模型应用阶段,首先利用Pin Yin Converter工具判断出文本中的多音字,并通过系统API调用训练好的模型自动预测出多音字的发音,将标注好发音的多音字输入语音合成模块,得到生成的音频文件。最后,基于上述设计,完整地实现了智慧广播节目生产系统。用户成功登录本系统后,可以查看后台定时抓取的新闻内容,同时对新闻内容进行编辑后形成广播节目文稿,经过语音合成后形成音频节目。通过节目管理模块将生成的音频节目上载到节目服务器,并可以对其进行管理,通过系统管理模块实现对频道信息及节目元数据的管理。最终实现的系统在模拟环境中验证结果良好,系统性能稳定,功能完整,达到了预期效果。该系统能保证广播文稿来源的时效性,提升了广播节目生产效能,具有一定的实用价值。

关键词：智慧广播深度学习注意力机制多音字消歧

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向小样本的个性化中文语音合成研究

面向小样本的个性化中文语音合成研究

作者：杨宜涛华南理工大学

学位级别：硕士

在语音合成技术日趋成熟的今天,人们对合成语音的要求不再停留于自然可懂的层面,而是希望语音合成系统可以更加多样化和个性化,即可以根据人们的需求,个性化地定制特定说话人的声音,此类技术也称之为语音克隆。但在实际的系统搭建过程中... 详细信息

在语音合成技术日趋成熟的今天,人们对合成语音的要求不再停留于自然可懂的层面,而是希望语音合成系统可以更加多样化和个性化,即可以根据人们的需求,个性化地定制特定说话人的声音,此类技术也称之为语音克隆。但在实际的系统搭建过程中,个性化中文语音合成系统往往会受限于各种小样本数据问题,而无法保证合成系统的泛化性和准确性。首先,在语音克隆过程中,需要定制的目标说话人的语音数据往往十分稀少,因而无法使用大规模的数据驱动方法对目标说话人的音色进行建模,而现有的基于小样本的语音克隆方法存在训练步骤繁琐、模型泛化性不足等问题。此外,对于个性化中文语音合成系统而言,前端多音字消歧模块也饱受数据问题的困扰。现有的多音字消歧模型往往需要海量的多音字标注文本,但此类数据通常需要人工标注,收集代价十分昂贵,而仅存的开源数据集存在数据量少、数据质量差等问题,难以保证多音字消歧的质量,从而导致合成语音出现字音错误。针对以上问题,本文进行了如下工作。(1)提出了基于音素级别说话人特征的小样本语音克隆方法。该方法提取和利用少量目标说话人语音中的细颗粒说话人特征,并引入注意力机制对各音素间的说话人特征进行迁移,辅以说话人随机样本的训练策略,从而提高对目标说话人的语音的利用效率,在小样本场景下实现高质量的语音克隆。(2)提出了基于元学习的多音字消歧方法。该方法不再将多音字消歧任务作为机器学习中的分类任务进行处理,而是通过特征对比的模式,将多音字中不同读音的语义特征进行对比和区分,以确定多音字的读音。最后的实验结果表明,本文提出的小样本语音克隆方法,相比现有方案更具泛化性,可以根据少量目标说话人语音数据克隆出兼具自然度、音色还原度的语音。同时,本文提出的多音字消歧方法在低质量的训练数据集上仍然表现出了优秀的消歧性能,相比现有方案展现了充足的泛化性能,并且对于训练数据集中未曾出现过的多音字也有一定效果。

关键词：个性化语音合成语音克隆多音字消歧小样本语音合成