检索结果-南通市图书馆

计算机与现代化 2024年第1期 41-46页

作者：付鸿林张太红杨雅婷艾孜麦提·艾瓦尼尔马博新疆农业大学计算机与信息工程学院新疆农业信息化工程技术研究中心中国科学院新疆理化技术研究所多语种信息技术研究室

通过对维语的场景文字检测与识别研究发现，人工采集标注自然场景文字图像是耗时耗力的，因此人工合成的数据是作为训练数据的主要来源。为获得更加真实的数据，本文提出一种基于生成对抗网络的维语场景文字修改网络，利用高效的Transfo... 详细信息

通过对维语的场景文字检测与识别研究发现，人工采集标注自然场景文字图像是耗时耗力的，因此人工合成的数据是作为训练数据的主要来源。为获得更加真实的数据，本文提出一种基于生成对抗网络的维语场景文字修改网络，利用高效的Transformer模块构建网络，充分提取图像全局与局部特征来完成维语场景文字图像修改，并添加微调模块，对最终结果进行微调。采用WGAN思想策略训练模型，可有效应对模型崩溃以及梯度爆炸等问题。通过在英文-英文，英文-维文的文字修改实验来验证模型的泛化能力和鲁棒性，无论在客观评价指标（SSIM、PSNR）还是视觉上均取得不错效果，并在真实场景数据集SVT以及ICDAR 2013上进行了验证。

关键词：生成对抗网络场景文字修改维语场景文字图像高效Transformer WGAN

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于生成对抗网络的场景文字检测与识别语料合成技术研究

基于生成对抗网络的场景文字检测与识别语料合成技术研究

引用

作者：付鸿林新疆农业大学

学位级别：硕士

通过研究场景文字检测与识别发现,场景文字检测与识别图像数据集的采集标注耗时耗力,造成训练数据匮乏等问题。现有场景文字检测与识别训练数据集主要来源于合成工具合成,但合成数据与真实场景数据存在差异,影响模型在真实场景下的表现... 详细信息

通过研究场景文字检测与识别发现,场景文字检测与识别图像数据集的采集标注耗时耗力,造成训练数据匮乏等问题。现有场景文字检测与识别训练数据集主要来源于合成工具合成,但合成数据与真实场景数据存在差异,影响模型在真实场景下的表现。其中生成对抗网络(Generative Adversarial Networks,GAN)采取对抗训练的方式,使生成图像逼近真实图像。本文利用生成对抗网络构建场景文字修改模型,通过对图像中文字进行替换,进而产生新的场景文字图像,扩充训练数据。此外,现实场景中采集的场景文字图像存在质量较差,文字内容模糊,在对其识别时,准确率较低,场景文字图像超分辨率可作为相应的图像增强方法,对输入的低分辨率文字图像进行修复,使图像中文字更清晰,易于识别,且修复之后的图像也可作为场景文字修改模型的输入,进一步扩充训练数据。因此,本文针对基于生成对抗网络的场景文字图像修改以及场景文字超分辨率展开研究,具有重要的实际应用价值。本文的主要研究内容及创新如下:提出了一种基于生成对抗网络的维吾尔语场景文字修改网络。现有场景文字修改网络主要采用卷积神经网络构建模型,但受限于卷积神经网络接收域的问题,在应对字形复杂的语言文字时,造成文字修改细节纹理缺失,并伴随原文字伪影,影响生成图像质量。本文采用高效的Transformer模块构建网络模型,提取图像全局与局部特征完成场景文字修改,值得注意的是,目前还没有场景文字修改网络针对维吾尔语这一语言文字。在训练中使用WGAN的思想训练网络,可有效应对模型崩溃、梯度爆炸等问题。实验结果表明,本文提出的模型能够较好的完成场景文字图像的文字修改任务。提出了一种基于改进TSRN(Text Super-Resolution Network)的场景文字超分辨率方法。由于Text Zoom数据集中高分辨率图像文字更趋向于图像中心,采用空间转换网络(Spatial transform network,STN)对低分辨率图像进行校正。使用MDSA(Multi-Dconv Head Self-Attention)模块替换TSRN中的STN模块。MDSA通过计算空间注意力特征图,将图像全局文字位置信息融入网络,通过模型自身调整参数,识别文字区域与背景区域,建立更准确的映射关系。在损失函数定义上,引入VGG-19预训练模型,提取图像的低频特征,构建风格标签,降低风格损失可增加文字区域与背景的区分度,使图像更易于识别。在Text Zoom数据集上进行实验,并与主流算法对比,本文提出的方法可以明显提升场景文字图像超分辨率模型的识别性能。

关键词：生成对抗网络场景文字修改高效Transformer 图像超分辨率自注意力机制风格损失

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：