一种基于弱监督学习的图像镜面高光去除算法

作     者：郑元丰 张威 江昊 华光 ZHENG Yuanfeng;ZHANG Wei;JIANG Hao;HUA Guang

作者机构：武汉大学电子信息学院湖北武汉430072 

出 版 物：《信号处理》 (Journal of Signal Processing)

年 卷 期：2023年第39卷第6期

页      面：1016-1024页

核心收录：

学科分类：08[工学] 0816[工学-测绘科学与技术] 081602[工学-摄影测量与遥感] 

基　　金：引进高端科研机构创新专项资金(181129112748101) 广东省科技厅“大专项+任务清单”管理模式(2019sdr002)。 

主　　题：镜面高光去除 循环生成对抗网络 弱监督学习 稀疏非负矩阵分解 

摘      要：高质量图像是计算机视觉任务的基础,但实际生活中高光的出现会覆盖物体表面的纹理和颜色信息,导致图像质量显著下降。目前用于高光去除的深度学习方法往往需要大量高光-无高光配对图像进行监督,而高光图像对应的无高光版本存在收集和处理困难的问题。本文提出一种基于弱监督学习的图像镜面高光去除算法,旨在仅使用高光图像完成训练且达到很好的高光去除效果。首先,利用稀疏非负矩阵分解(NMF)方法估计图像的高光区域,并从无高光区域裁剪出无高光的参考图像。然后,将两者输入到联合训练的高光生成、高光消除和图像重建模块,协同优化各模块功能。总体采用循环生成对抗网络(CycleGAN)架构训练网络并最终生成无高光图像。选取自然图像数据集SHIQ和LIME进行实验,实验结果表明,所提方法能够有效去除镜面高光,并且在性能上对比现有的弱监督学习方法有较大提升。