融合风格迁移的图像文本编辑方法

作     者：梁浩然 朱泽浩 梁荣华 

作者机构：浙江工业大学信息工程学院 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(62176235,62036009) 浙江省自然科学基金(LY21F020026) 

主　　题：场景文本编辑 颜色迁移 数据集扩充 深度学习 视觉一致性 

摘      要：为了满足非美术设计专业的普通用户能够快速地在图像上进行字符编辑， 且新生成的字符尽可能地保持与相邻字符的几何和视觉一致性的要求， 提出一种融合风格迁移的图像文本编辑方法. 首先针对原字符颜色， 迁移数据集中存在的字符颜色分布不合理、字符组合匮乏、字符颜色图像存在脏数据等问题， 重新构建颜色列表; 然后采用一种基于高效语义分割的数据集扩充方法扩充数据集中的字符对， 提高数据集中数据分布的合理性， 形成字体颜色迁移(CCT)数据集， 并在测试集上评价不同模型的字符生成效果. 实验结果表明， 通过CCT数据集训练的字符颜色迁移模型能够使生成的图像质量指标大幅提升， 较现有网络模型的SSIM指标提高10.47%， PSNR指标提高7.90%; 并通过用户调研， 进一步验证了所提方法的有效性和生成图像的逼真程度.