结合门循环单元和生成对抗网络的图像文字去除

作     者：王超群 全卫泽 侯诗玉 张晓鹏 严冬明 Wang Chaoqun;Quan Weize;Hou Shiyu;Zhang Xiaopeng;Yan Dongming

作者机构：中国科学院大学人工智能技术学院北京100049 中国科学院自动化研究所模式识别国家重点实验室北京100190 清华大学水沙科学水利水电工程国家重点实验室北京100084 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2022年第27卷第4期

页      面：1264-1276页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划资助(2019YFB2204104) 国家自然科学基金项目(61772523) 清华大学水沙科学水利水电工程国家重点实验室及宁夏银川水联网数字治水联合研究院联合开放研究基金项目(sklhse-2019-Iow04) 

主　　题：文字去除 门循环单元(GRU) 生成对抗网络(GAN) 逆残差块 图像修复 

摘      要：目的图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题。为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字。方法通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除。结果在1080组通过人工处理得到的真实数据集和使用文字合成方法合成的1000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能。结论本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0%。