检索结果-南通市图书馆

检索条件"主题词=语音到图像的转换"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于深度学习的语音到图像转换的研究

基于深度学习的语音到图像转换的研究

引用

作者：陈思成西北师范大学

学位级别：硕士

近年来,基于文本生成图像的研究已经得到了快速发展,但语音到图像转换的研究相对较少,并且大多数语音到图像转换的研究只考虑了声音特性,没有考虑到语音的语义问题。此外,由于许多语言没有书写的形式,这使得根据文本生成图像的研究具有... 详细信息

近年来,基于文本生成图像的研究已经得到了快速发展,但语音到图像转换的研究相对较少,并且大多数语音到图像转换的研究只考虑了声音特性,没有考虑到语音的语义问题。此外,由于许多语言没有书写的形式,这使得根据文本生成图像的研究具有一定的局限性。而语音作为自然界较为原始的输入,又是我们人类最直接的交流方式,在生成图像方面具有广泛的应用前景。因此,根据语音生成符合语义的图像具有更加重要的研究意义。本文针对语音到图像的转换展开研究,主要工作与创新如下:1.构建了一个面向语音-图像转换研究的数据库。针对目前世界上并没有公开的语音-图像数据库问题,在Oxford-102数据集的基础上,利用语音合成的方法,生成了一个语音-图像数据库。在构建数据库时,首先在LJspeech数据集上训练基于Tacotron2的语音合成模型,然后使用Oxford-102中的文本数据在训练好的基于Tacotron2的模型上合成研究所需要的音频。论文共合成81890句语句,每句时长在4-7秒不等,总时长约为114小时。2.实现了一种基于语音识别技术和图像生成技术的语音到图像转换的方法。首先将语音识别成文本,然后把文本输入生成对抗网络转换成图像,从而实现语音到文字再到图像的转换。论文训练了4种不同的端到端语音识别模型,分别为CTC、Attention、混合CTC/Attention和Transformer,并进行了对比试验。实验结果表明,基于Transformer的语音识别模型在几种模型中性能最优。然后使用DCGAN和Stack GAN两种生成对抗网络模型根据语音识别的结果生成不同分辨率的图像。由于语音识别具有词错率,导致图像生成模型生成的图像会出现不符合语义甚至不符合预期图像等错误。3.提出了一种从语音直接转换为图像的方法。考虑到语音识别具有词错率的问题,本文提出将语音直接转换为图像的方法,省略中间获得文字的环节,使语音到图像的转换更加直接。本文提出的方法由语音嵌入网络和Stack GAN-v2两部分组成。在给定图像-语音对的前提下,语音嵌入网络为语音和图像两种模态找到一个公共空间,这样可以最小化模态之间的差距并获得基于视觉的语音嵌入。将语音嵌入作为Stack GAN-v2输入,逐步生成从低分辨率到高分辨率的图像。实验结果表明,提出的方法生成的伪图像比语音-文字-图像转换方法生成的图像更加逼真,说明从语音到图像的转换比从语音经过文本到图像的转换更具优势。

关键词：语音到图像的转换语音合成语音识别生成对抗网络计算机视觉

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：