检索结果-南通市图书馆

基于WaveNet结构的普通话歌声合成的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于WaveNet结构的普通话歌声合成的研究

作者：游于人西北师范大学

学位级别：硕士

歌声,是通过人类嗓音所表达的音乐形式,也是人类语音最富有表现力的表达方式。歌声合成(Singing Voice Synthesis,SVS)是指利用语音合成相关技术,让计算机能够像人一样发出优美动听的歌声。歌声合成作为语音合成技术一个新的应用领域,... 详细信息

歌声,是通过人类嗓音所表达的音乐形式,也是人类语音最富有表现力的表达方式。歌声合成(Singing Voice Synthesis,SVS)是指利用语音合成相关技术,让计算机能够像人一样发出优美动听的歌声。歌声合成作为语音合成技术一个新的应用领域,在虚拟歌手、唱片制作、数字音乐创作等领域都有相当大的应用价值和前景。随着近年来研究者对语音合成技术研究的深入,对歌声合成方法的研究也有了一定进展,但还没有针对普通话歌声合成方法进行深入的研究。由于歌声合成比单纯的语音合成更侧重于对旋律的演绎,而且增加了关于歌曲信息的处理过程,比如节奏、调性等信息,因此歌声合成比语音合成具有更大的挑战性。本文研究了基于统计参数模型的歌声合成算法,在现有普通话语音合成和歌声合成的基础上,提出了一种改良的基于WaveNet结构的普通话歌声合成模型,能够用小的训练语料获得较好的歌声合成效果。本文的主要工作和创新如下:1.建立了一个面向普通话歌声合成的歌声语料库。根据歌曲的节奏、调性等特点,选择了90首歌曲的音乐可扩展标记语言(Music Extensible Markup Language,MusicXML)格式乐谱文件,设计了歌声录制方案,邀请一位专业成年女性歌手在专业录音棚录制歌声语料库。录制的普通话歌曲语料库的总时长为169分钟,为普通话歌唱合成接下来的工作提供了坚实的数据保障。2.提出了一种从普通话歌曲MusicXML格式乐谱文件得到上下文相关标注的乐谱分析方法。设计了包含音素层、音节层、音乐信息层、乐句层、歌曲层等5层上下相关标注格式。通过输入普通话MusicXML格式乐谱文件,最终生成用于声学建模的MusicXML格式乐谱文件的上下文相关标注。3.实现了一种基于统计参数语音合成技术的普通话歌声合成方法。基于统计参数模型的普通话歌声合成方法能够根据输入的MusicXML格式乐谱文件合成出节奏和音高较为精准、音强适度、以及具有个性化音色的歌声。4.提出了一种基于WaveNet结构的普通话歌声合成方法。该方法对参数声码器提取的特征分别进行建模,最后通过WORLD声码器重构出歌声。提取的特征包括:谱包络(Spectral Envelope,SP)、非周期参数(Aperiodicity Envelope,AP)、基频(Fundamental Frequency,F0)、清/浊音判别(Voiced/Unvoiced,V/UV)。主、客观实验结果表明,该方法可以利用有限的歌声数据库合成出尚可接受的普通话歌声。

关键词：歌声合成歌声数据库乐谱分析隐马尔科夫模型 WaveNet

基于Transinger前端模型的端到端歌声合成方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Transinger前端模型的端到端歌声合成方法

作者：刘旭东北京林业大学

学位级别：硕士

歌声合成是语音合成的衍生技术,通过提取乐谱中的信息来合成电子歌声,是计算机技术在音乐领域中的经典应用。从早期的样本拼接方法、参数式模型到当前的神经网络模型,歌声合成系统的性能已经达到了人们能够接受的水平。目前相关的研究... 详细信息

歌声合成是语音合成的衍生技术,通过提取乐谱中的信息来合成电子歌声,是计算机技术在音乐领域中的经典应用。从早期的样本拼接方法、参数式模型到当前的神经网络模型,歌声合成系统的性能已经达到了人们能够接受的水平。目前相关的研究工作都是基于串联式的模型结构,用乐谱信息中的歌词、音高和节拍等信息训练多个模型协同工作。在构建歌声合成系统过程中,通常需要多个领域的专业人员协同工作,模型训练难度大,工程时间长,并且串联模型容易出现误差累积,最终合成效果不稳定。受到语音合成技术研究的启发,本研究基于深度学习方法提出一种完全端到端的歌声合成前端模型Transinger,它用于简化模型的构建和训练过程;在此基础上,根据前端模型和歌声数据的特点,本研究对现有的神经网络声码器模型进行研究和改进,分析声学特征和歌声数据的特点,对比前端模型和声码器在歌声合成任务中的效果,最终提出一套端到端的歌声合成方法。实验结果证明本研究提出的方法可以合成高质量且自然的歌声,并且证明音高条件控制方法可以加强声码器模型的鲁棒性和收敛速度。此外,本研究也对多歌手的歌声合成任务进行尝试,发现Transinger模型在添加歌手身份信息的条件下,可以同时合成出多位歌手的歌声。

关键词：歌声合成神经网络端到端声码器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的普通话歌声合成的研究

基于深度学习的普通话歌声合成的研究

作者：周芸西北师范大学

学位级别：硕士

歌声在表达情感、舒缓心情等方面有重要作用。用计算机合成歌声可以创造声音独特的虚拟歌姬,为科幻动画中的人物做歌声配音,实现已故歌手音色的歌声演唱,也可以帮助缺少教师资源的地区展开歌唱教育。由于在基于隐马尔科夫模型（Hidden M... 详细信息

歌声在表达情感、舒缓心情等方面有重要作用。用计算机合成歌声可以创造声音独特的虚拟歌姬,为科幻动画中的人物做歌声配音,实现已故歌手音色的歌声演唱,也可以帮助缺少教师资源的地区展开歌唱教育。由于在基于隐马尔科夫模型（Hidden Markov Models,HMM）的歌声合成中,使用最大似然准则或最小均方误差准则合成的歌声存在统计平均效应,导致歌声合成结果过平滑、合成音质差,并且合成所用时间长。本文针对这些问题,用三种方法来合成歌声,改善了合成的效果。本文的主要工作如下:1.构建歌声数据库。本文选择100首歌曲曲目,共约300分钟。请1名专业歌唱者在专业录音环境中进行100首歌曲的歌声录制,录音格式为48k Hz采样率,16bit精度。接着将录制的歌声切分成完整的短句,校对、检测后得到1560句8～15s的句子。用Praat对短句做起止时间的标注。再将乐谱中的歌词转换为计算机易处理的拼音,经过校对后对乐谱进行分析,得到上下文相关标注。2.实现基于深度神经网络（Deep Neural Networks,DNN）的歌声合成。从构建的歌声数据库中提取声学特征,用DNN模型对歌声的颤音、时延进行建模训练。将得到的歌声做评测,得到平均2.68的MOS评分。3.提出基于生成对抗网络（Generative Adversarial Network,GAN）的普通话歌声合成。从构建的歌声数据库中提取模型需要的声学特征,使用GAN中的生成网络生成歌声,通过判别网络判断合成效果。该过程使传统最小生成损失和欺骗判别网络的对抗损失的加权和最小化,也就是最小化了生成样本和自然样本参数间的差距。经过多次的生成网络和判别网络的更新训练,得到合成歌声。对歌声做评测,得到平均3.05的MOS评分。4.实现基于Fast Speech的歌声合成。从构建的歌声库中提取音素、持续时间和音高特征,先后送入编码器、解码器进行处理,最后将得到的声学特征通过声码器合成出歌声。将合成的歌声做评测,得到平均3.45的MOS评分。

关键词：歌声合成构建歌声数据库深度神经网络生成对抗网络 FastSpeech

基于生成对抗网络的多判别歌声合成声码器的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的多判别歌声合成声码器的研究

作者：陈飞扬浙江大学

学位级别：硕士

歌声合成声码器是将梅尔频谱、基频等声学特征转化为歌声的一种算法,是语音合成声码器在歌声领域的技术延伸,是歌声合成系统不可或缺的重要组成部分。近年来,深度学习算法逐渐在语音场景下得到应用,各种神经网络模型的声码器得以提出,... 详细信息

歌声合成声码器是将梅尔频谱、基频等声学特征转化为歌声的一种算法,是语音合成声码器在歌声领域的技术延伸,是歌声合成系统不可或缺的重要组成部分。近年来,深度学习算法逐渐在语音场景下得到应用,各种神经网络模型的声码器得以提出,使得语音合成领域得以快速发展。但是以歌声合成为主体的声码器研究相对较少,且现有的声码器技术依然存在合成效果不佳或合成实时率无法达到要求的情况。这些问题都严重制约了歌声合成技术的发展与实际工业应用。本文以多说话人歌声数据集为研究主题,设计了一种通用的基于生成对抗网络的多判别歌声合成声码器。主要研究工作包含三个方面:（1）研究现有生成对抗网络声码器Me1GAN和Parallel WaveGAN在多说话人歌声数据集上的效果表现,分析了现有生成对抗网络声码器存在的问题并尝试了一些改进方案;（2）针对存在的问题,本文设计了基于生成对抗网络的多判别歌声合成声码器,该声码器输入引入了由基频构建的激励源,并设计了多窗口多频带判别器,以保证生成歌声频带重建的准确性;（3）分析多判别歌声合成声码器依然存在的问题,进行优化,重新设计膨胀卷积层并构建了自适应特征学习模块AFL,最终验证评估该声码器的合成效果与合成的实时率。通过上述研究,本文设计的基于生成对抗网络的多判别歌声合成声码器,在多说话人歌声数据集上合成的歌声效果MOS评分达到了 4.0,同时在2.6GHz的CPU上进行运行测试,实现实时率RTF＜0.7,基本达到工业应用要求,已进行商业应用。

关键词：歌声合成声码器生成对抗网络多窗口多频带判别器膨胀卷积

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语料库的歌声合成方法

基于语料库的歌声合成方法

作者：周树森哈尔滨工业大学

学位级别：硕士

语音处理技术有着广泛的应用领域,歌声合成是语音处理技术的一个新的应用领域。对歌声合成方法的研究在谱曲作词、唱片制作、娱乐等领域都有很大的应用价值,虽然国际上对歌声合成方法已有一定的研究,但针对普通话的歌声合成方法则开展... 详细信息

语音处理技术有着广泛的应用领域,歌声合成是语音处理技术的一个新的应用领域。对歌声合成方法的研究在谱曲作词、唱片制作、娱乐等领域都有很大的应用价值,虽然国际上对歌声合成方法已有一定的研究,但针对普通话的歌声合成方法则开展得较少,同时由于比单纯的语音合成多了关于音调检测与变换方面的处理过程,因此具有一定的挑战性。针对一个实际的普通话歌声合成应用需求,本文力图在现有语音合成与歌声合成技术基础上,建立起一个具有较高合成质量的普通话歌声合成系统。首先,本文介绍了音频处理、语音及歌声合成方面的主要技术,以及基于语料库的歌声合成方法的体系结构。其次,本文详细给出了歌声合成语料库的预处理方法,在此基础上研究并实现了对歌声的音符自动切分、清浊音识别、音高识别等歌声预处理算法。第三,提出了一种基于自适应滤波器的歌声旋律调整算法。算法的核心部分是设计一个具有自适应能力的滤波器,将音频信号的每一个周期都准确的检测出来。接着利用Hanning窗来平滑,减少了调整后音频信号的噪音。本文设计并实现了该旋律自动调整系统,并将处理结果与已有的旋律调整算法进行了比较。实验结果表明,本文提出的旋律调整算法获得的音质要优于其它方法。最后,在上述算法基础上,针对本文对歌声合成的具体应用需求,设计了一个基于语料库的歌声合成算法,为了增加合成歌声的清晰度与流畅度,设计了压线与歌声音强平滑等后处理算法,并实现了一个基于给定旋律与歌词的歌声合成系统,该系统首先检测出给定旋律所对应的音高、音长,然后对歌词对应的歌声语料库进行旋律变换与歌声合成,最终输出合成后的歌声。为了对合成质量进行评估,本文将歌声合成的结果进行了主观评测,结果表明,歌声合成的结果是可以接受的,该系统可以用于日常的娱乐。

关键词：歌声合成旋律调整音强平滑

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向音色转换的歌声合成方法研究

面向音色转换的歌声合成方法研究

作者：齐子铭福州大学

学位级别：硕士

近年来,伴随着人工智能和模式识别等相关技术的兴起和日渐成熟,人们对更高智能化的人机交互有着强烈的需求,这种需求使得音频信号处理成为了当前热门的研究领域。歌声的音色转换是音频信号处理中的一个新兴课题,目前针对歌声音色转换的... 详细信息

近年来,伴随着人工智能和模式识别等相关技术的兴起和日渐成熟,人们对更高智能化的人机交互有着强烈的需求,这种需求使得音频信号处理成为了当前热门的研究领域。歌声的音色转换是音频信号处理中的一个新兴课题,目前针对歌声音色转换的相关研究成果较少,且大部分研究工作都继承了语音音色转换的理论和方法。然而语音音色转换方法大多都是“一对一”的,只针对特定的源说话人和特定的目标说话人,并且依赖于平行数据集。显然,这种模型的泛化能力很差,且不适用于对歌声的音色转换。为此,本文以非平行数据集下的“多对多”的歌声音色转换模型为主要研究目标,以歌手的清唱音频信号为研究对象,构建了人声音色表征模型,对歌手的音色进行合理的表征;接着基于人声音色表征模型进而构建了面向歌声音色转换的模型,对歌手演唱的歌声进行音色转换;最后对音色转换后的歌声做进一步的处理和降噪,得到音质更好的音色转换后的歌声。首先,本文提出一种基于深度卷积神经网络和迁移学习的人声音色表征方法。该方法通过大量乐器音频数据训练得到基于深度卷积神经网络的乐器音色表征模型,再利用少量人声音频数据和迁移学习的方法对乐器音色表征模型进行微调,进而得到人声音色表征模型。实验结果表明由乐器音色表征模型和人声音色表征模型提取出的相应的音色特征在音色分类实验中有较好的表现。其次,本文融合人声音色表征模型,提出了一种基于变分自编码-生成对抗网络的歌声音色转换模型。该模型不依赖于平行数据集,突破了传统音色转换模型对平行数据集的依赖,且支持“多对多”的语音和歌声音色转换。实验结果表明,经由该模型生成的音色转换后的语音和歌声,不仅在MFCC误差这一客观指标上比传统平行数据集下“一对一”的音色转换模型有更好的表现,而且在主观MOS评分上,也优于传统模型。最后,本文利用由受限玻尔兹曼机堆叠而成的深度神经网络模型实现了对音色转换后音频的降噪。实验结果表明,深度神经网络降噪模型可以有效地抑制音色转换后音频中的噪声,改善其信噪比,同时提高音频的质量。

关键词：歌声合成人声音色表征歌声音色转换音频降噪

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种汉语歌声合成的简单数据增强技术

中国传媒大学学报（自然科学版） 2020年第4期27卷 21-29页

作者：赵薇卢丹吕晓曼覃龙靖中国传媒大学信息与通信工程学院北京100024

歌声合成的研究,作为语音合成研究的一个分支,得到广泛的关注。在深度学习框架下需要庞大的数据集进行训练,才能保证网络具有较高的泛化能力。现有的开源汉语歌声数据库无法满足歌声合成训练的特殊需求。本文利用数据增强基于小规模数... 详细信息

歌声合成的研究,作为语音合成研究的一个分支,得到广泛的关注。在深度学习框架下需要庞大的数据集进行训练,才能保证网络具有较高的泛化能力。现有的开源汉语歌声数据库无法满足歌声合成训练的特殊需求。本文利用数据增强基于小规模数据进行时域和频域的处理来扩充数据规模。实验结果显示,扩充后的数据集,可以在歌声编码器中有效的区分出更多的歌者的音色。

关键词：数据增强歌声合成 librosa 音色编码器

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于HMM的歌词到歌声转换的研究

基于HMM的歌词到歌声转换的研究

作者：冯欢西北师范大学

学位级别：硕士

语音合成技术在人机交互领域是一个重要研究内容,有着广泛的应用,歌声合成是语音合成的研究热点。本研究利用了文语转换(Text-To-Speech,TTS)技术,通过HTS(HMM-based Speech Synthesis System)实现歌声的合成。利用训练语料建立说话人... 详细信息

语音合成技术在人机交互领域是一个重要研究内容,有着广泛的应用,歌声合成是语音合成的研究热点。本研究利用了文语转换(Text-To-Speech,TTS)技术,通过HTS(HMM-based Speech Synthesis System)实现歌声的合成。利用训练语料建立说话人相关的声学模型。通过MIDI(Musical Instrument Digital Interface)乐谱,获得歌声的音乐信息。通过分析对比说话语音和歌声信号在声学特征方面的差异,建立歌声的旋律控制模型。对输入的歌词文本进行文本分析,获得上下文相关的标注,并利用训练得到的说话人相关模型,获得说话人相关的声学参数。通过旋律控制模型对声学参数进行修改。最后,利用STRAIGHT(Speech Transformation and Representation based on Adaptive Interpolation of weiGHTed spectrogram)算法实现了基于HMM(Hidden Markov Model,HMM)的歌词到歌声的转换。论文的主要工作与创新如下:1.建立了面向歌曲合成的基于HMM的说话人相关的声学模型。利用多说话人的语音语料,分析语音,得到基频(F0)、时长、频谱(SP)以及非周期索引(AP)等声学参数,并利用说话人自适应训练技术,训练获得平均音模型。在此基础上,利用目标说话人的语音,通过说话人自适应变换技术,得到目标说话人的声学模型。2.建立了旋律控制模型。从MIDI文件提取乐谱信息,分析乐谱文件结构,获得通道标号、音符音高、键的速度、音符起始时间、音符持续时间等音乐信息。分析语音和歌声在声学特征的差异,建立了歌声的旋律控制模型,包括基频控制模型和时长控制模型。利用基频控制模型将乐谱中的离散音高转换为连续的基频曲线,并利用时长控制模型获得歌唱音符的发音时长。3.实现了歌词到歌曲的转换。对输入的歌词文本进行文本分析,获得上下文相关的标注,并利用说话人相关的模型,生成频谱、非周期索引2个声学参数。同时根据MIDI文件,获得歌词中每个音符的音高和音长,并通过旋律控制模型获得相应的基频和时长,并根据音符时长获得音节的频谱、非周期索引和基频的时长。最后,利用STRAIGHT算法实现歌声的合成,并加入音乐伴奏。对转换的歌声进行了主、客观评测,结果表明,转换的歌声音质较好。

关键词：歌声合成旋律控制模型基于HMM的语音合成 MIDI STRAIGHT算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

稳定音色的音乐语音变调方法

计算机工程 2018年第3期44卷 315-321页

作者：张栋彭建云余春艳福州大学数学与计算机科学学院福州350108

传统变调方法由于未考虑音色和边缘音,会影响音质并造成失真。为此,提出一种改进线性预测的变调方法。根据音乐语音存在边缘音的特点,借助谐波冲激分离将其分为谐波信号和冲激信号,基于线性预测模型,将谐波信号分解为声道传输函数和声... 详细信息

传统变调方法由于未考虑音色和边缘音,会影响音质并造成失真。为此,提出一种改进线性预测的变调方法。根据音乐语音存在边缘音的特点,借助谐波冲激分离将其分为谐波信号和冲激信号,基于线性预测模型,将谐波信号分解为声道传输函数和声门脉冲激励信号,采用重采样对脉冲激励信号进行变调处理,利用帧信号叠加合成提高拼接段的连续性,通过频域的谐波冲激叠加合成重构音乐语音信号。实验结果表明,该方法能使音乐语音信号在变调处理后改变音高,保持音色相对稳定不失真,且语音质量比传统的线性预测变调方法有较大提高。

关键词：语言信号歌声合成频谱包络音色线性预测