基于改进对偶生成对抗网络的镜面物体表面高光去除的研究

作     者：陈俊超 

作者单位：武汉纺织大学 

学位级别：硕士

导师姓名：张本龚;李丽

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：生成对抗网络 CycleGAN 置信图 U-Net 

摘      要：高光泽皮革、玻璃、塑料、金属部件等具有镜面反射特性的物体图像表面上的高光,使得适用于漫反射特性的物体检测、内在图像分解和跟踪等光学测量技术难以直接应用,因此高光检测与消除一直是计算机视觉研究领域的热点问题。近年来,以CNN为代表的深度卷积神经网络作为一种泛化的函数映射关系拟合方法,在图像数据处理研究领域表现出广泛的优越性。深度卷积神经网络可以对大量配对镜面反射-漫反射的数据集进行有监督的学习,利用镜面反射域到漫反射域的映射关系以去除物体表面的高光。然而,配对数据集的获取在现实中存在一定的困难,但我们可以很容易获得大量非配对数据。以CycleGAN为首的对偶生成对抗网络,是一种无监督的学习框架,该框架可充分的利用非配对数据集学习两个域之间的映射关系。本文在经典CycleGAN的基础上建立了改进的对偶生成对抗网络框架,该框架主要解决以下两个问题:(1)在对偶生成对抗网络CycleGAN的基础上,引入了一个基于独立平均值的置信图。CycleGAN+置信图可以引导网络快速搜索初始值,从而解决目前没有一个非常严格的数学定义来区分镜面反射成分和漫反射成分而使网络收敛速度慢的问题。(2)对于典型的高光泽金属球体,其实测值的非峰值部分的漫反射分量仅为0.1左右,而峰值中的镜面反射分量可以达到100。为了解决高光泽镜面反射物体镜面反射峰值远大于非峰值时的漫反射值,而导致的优化过程中产生的异方差性问题,我们提出了一种基于对数的度量方式,使得镜面反射成分和漫反射成分具有可比性。同时,在改进网络的生成器中,使用Dense Net和U-Net相结合的结构替代初始的Res Net架构,可使网络的参数量变少且层次加深,进而使得网络收敛速度加快以及可提取到更丰富的特征信息。此外,本文在改进网络的基础上引入感知损失,目的是避免在卷积下采样会丢失相关的特征信息,从而确保生成图像的稳定性。