检索结果-南通市图书馆

作者：宋志伟西安工业大学

学位级别：硕士

随着人工智能的发展,智能制造与数字化集成制造是制造领域发展的必然趋势。重工装备制造过程中需根据工程图中特定单元轮廓切割出相应形状的钣金零件,进而对钣金零件进行焊接。目前,重工装备制造过程中焊接工程图纸的识别多数仍采用光栅... 详细信息

随着人工智能的发展,智能制造与数字化集成制造是制造领域发展的必然趋势。重工装备制造过程中需根据工程图中特定单元轮廓切割出相应形状的钣金零件,进而对钣金零件进行焊接。目前,重工装备制造过程中焊接工程图纸的识别多数仍采用光栅/矢量扫描或人工重绘方式,此方法效率低且过程繁琐。当机器面对具有复杂线条的工程图纸时,传统方法很难实现对图纸全部轮廓内容的扫描识别,而提取图中特定单元轮廓的方法则完全由人工重新绘制。为解决此问题,本文围绕基于深度学习算法的焊接工程图形轮廓识别与提取技术,开展了一系列研究,主要研究内容和成果如下:(1)针对焊接结构工程图形的翻译识别技术进行研究,提出一种新型工程图形翻译识别方法,用无配对迁移学习的循环一致性生成对抗网络(Cyclic Generative Adversarial Networks,cyclegan)模型对焊接结构图形翻译识别。基于传统cyclegan提出了针对焊接工程图形翻译识别的改进模型,在生成器中提出使用K-winners替代传统Re LU层增强模型的鲁棒性,同时在训练过程中使用稀疏算法实现模型修剪以加快训练速度。此外,提出继续在生成器中间层添加残差块,可大大提升生成器翻译识别后的焊接工程图形的分辨率。基于深度学习方法的焊接结构识别方法摒弃传统的工程图光栅/矢量扫描翻译识别方法,利用机器视觉技术对焊接结构图形内容进行翻译识别,可加快制造效率。通过对某铆焊装备公司提供的数据集验证,实验表明本研究可有效实现对焊接工程图内容的翻译识别。(2)针对焊接结构工程图形中特定单元的分割提取技术进行研究,提出一种新型工程图形特定单元轮廓的分割提取方法,使用工程图语义特征之间的差异对图形特定单元轮廓进行分割提取。提出基于U-net的双池化卷积通道-空间注意力机制(Channel-Spatial Sequence Attention Module,CSSAM)跳跃结构的焊接工程图单元提取模型。同时,融合纵向高维编码器特征簇与横向低维编码器特征簇以增加全局语义信息相关性,削减低维编码特征与高维解码特征的维度差异,提高焊接工程图形轮廓的分割性能。此模型摒弃对焊接图形特定单元提取过程中的传统人工重绘方法,使切割装置根据视觉信息自动分割特定图形单元,并根据分割结果自动切割相应形状的钣金零件。通过对某铆焊装备公司提供的数据集进行验证,实验表明本研究可有效对焊接图形单元轮廓进行分割提取。针对某铆焊装备制造公司提供的数据集进行验证,并通过SOTA实验可得,本研究可在不需要人工协助的情况下实现焊接图形内容较好的翻译识别和分割提取。此外,采用本文方法对焊接图形内容识别提取的性能比传统cyclegan和U-net模型更优秀,表明本研究对焊接结构图形翻译识别和分割提取的有效性。

关键词：焊接工程图深度学习图像识别图像分割 cyclegan U-net

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的局部图像风格迁移方法研究

基于深度学习的局部图像风格迁移方法研究

作者：司周永安徽理工大学

学位级别：硕士

风格迁移技术起源于非真实感绘制技术,当前基于深度学习的风格迁移技术研究是该领域热点,广泛应用在艺术创作、图像编辑、社交媒体和数字娱乐等领域,具有重要的研究意义和应用价值。但该技术所生成的图像存在内容失真与风格模糊的问题,... 详细信息

风格迁移技术起源于非真实感绘制技术,当前基于深度学习的风格迁移技术研究是该领域热点,广泛应用在艺术创作、图像编辑、社交媒体和数字娱乐等领域,具有重要的研究意义和应用价值。但该技术所生成的图像存在内容失真与风格模糊的问题,图像主体与背景常呈现混杂状态,导致视觉感受上的不协调。为了解决这些问题,论文对基于Cycle GAN风格迁移技术进行了改进,并通过分割图像实现局部的风格迁移。论文的主要研究内容如下:1.研究了图像风格迁移技术的理论和应用特点,对图像的内容与风格特征的提取理论以及应用于风格迁移的经典算法理论进行了详细地描述、分析与总结,为后续的研究的提供了坚实的理论支撑和实践指导。2.为了解决传统风格迁移中图像内容与风格模糊,提高迁移图片质量和训练速度,论文采用Mobile Net V2-Cycle GAN模型进行图像风格迁移,使用Mobile Net V2作为Cycle GAN生成器的一部分,加快了网络的运行速度,提高了风格迁移的速度,并引入多尺度结构相似性指数损失作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。通过实验证明,本算法提高了风格迁移的速度,能够较好的提升风格化图片质量。3.为了解决全局图像风格迁移处理中主体内容容易产生噪声导致细节丢失的问题,论文设计了一种结合改进Deep Labv3+网络和Cycle GAN的局部图像迁移方法,针对指定目标进行风格迁移。通过分割图像得到标签图像,使用Cycle GAN对图像进行风格迁移,再将分割出来的目标与迁移图像进行匹配,将得到的迁移图像转回到原图像中,实现了对局部图像的迁移。通过实验证明了本算法对特定目标的局部图像风格迁移具有较好的效果。图28表10参71

关键词：图像风格迁移语义分割局部风格迁移 cyclegan DeepLabv3+

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

人脸风格化的生成对抗网络研究

人脸风格化的生成对抗网络研究

作者：李旭辉长春工业大学

学位级别：硕士

随着计算机视觉的研究进展,人脸图像的相关研究成为了当前热点之一。通过将真实人脸图像转化为动漫风格图像,可以给人们带来视觉上的新鲜感和趣味性。同时对于面部属性变换的研究,还可以满足个性化创作的需求。然而,针对人脸图像的研究... 详细信息

随着计算机视觉的研究进展,人脸图像的相关研究成为了当前热点之一。通过将真实人脸图像转化为动漫风格图像,可以给人们带来视觉上的新鲜感和趣味性。同时对于面部属性变换的研究,还可以满足个性化创作的需求。然而,针对人脸图像的研究仍然存在一些挑战和难题。传统的方法往往需要大量的人工参与和复杂的手工规则设计,效果受限且难以扩展。而基于深度学习的生成对抗网络方法在生成图像时也存在不能很好地捕捉个人面部特征的问题。因此本文基于生成对抗网络提出了改进方案,实现人脸图像动漫风格迁移及属性变换。本文主要研究工作如下:(1)利用改进的cyclegan实现人脸图像动漫风格迁移。本文旨在保留个人面部特征的情况下,实现真实人脸图像动漫风格迁移研究。但动漫图像与真实图像的特征、纹理、配色都有所不同。考虑到DenseNet的密集连接机制的优势,其确保了最大程度的信息在网络中各层之间流动,本文将密集连接模块引入生成器的编码器结构中,以此加强编码器的学习能力,使其可以在将人脸图像压缩到短向量时保留低层次的特征,可以将低、中、高层次特征融合后输送给解码器。并且本文将卷积注意力机制CBAM嵌入编码器与解码器之间,强调模型可以重点关注人脸关键特征及该特征所处通道,提升人脸图像动漫迁移效果。(2)利用改进的StyleGAN实现人脸属性变换。由于StyleGAN无监督的特点,其可以进行一些风格混合或插值的操作,但并不能精确到控制单一属性。因此本文通过引入额外的控制输入向量来表示目标属性输入给生成器,使其可以在生成人脸图像时实现面部属性变换。改进后的生成器输入由两部分组成,一个是潜在空间向量输入部分,另一个是目标属性向量输入部分。潜在空间向量用于控制生成人脸图像的其他特征,例如姿态,性别等。目标属性向量用于指导生成器生成具备目标属性的人脸图像。这两部分输入会被合并起来,并传递给生成器的主体部分进行图像生成。同时判别器也会接收生成图像以及对应的目标属性向量作为输入,判别生成图像与真实图像的区别和图像是否具备目标属性向量,确保生成的人脸图像实现了属性变换效果。最后设计相关实验证明了本文所提出方法的有效性,通过与传统方法的对比,本文改进后的模型能够生成更高质量的动漫人脸图像,并且实现了在人脸图像上属性变换的目标,满足用户个性化的需求。

关键词：风格迁移属性变换图像生成 cyclegan StyleGAN

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的卡通头像生成

基于生成对抗网络的卡通头像生成

作者：刘芳瑜电子科技大学

学位级别：硕士

在互联网时代,头像在社交平台上起着名片的作用。部分人选择将个性突出的卡通画像作为自己的头像,但是让计算机自动生成符合人类主观审美的卡通头像不是一件容易的事情。生成对抗网络(Generative Adversarial Networks,GANs)作为现阶段... 详细信息

在互联网时代,头像在社交平台上起着名片的作用。部分人选择将个性突出的卡通画像作为自己的头像,但是让计算机自动生成符合人类主观审美的卡通头像不是一件容易的事情。生成对抗网络(Generative Adversarial Networks,GANs)作为现阶段主流的生成模型,在图像生成领域做出了巨大贡献,基于GANs的卡通头像生成技术受到了国内外学者的广泛关注。然而,现有的基于GANs的卡通头像自动生成算法面临着风格迁移效果不佳、身份保持不佳或者细节生成不佳的问题。生成的卡通图像需在进行风格转换的的的同时保留原图的身份特点,并且保证具备精准的图像细节。作者研究了一种针对卡通头像生成的模型,研究内容如下:1.设计了数据自动预处理模块,该模块实现了去除背景及人脸对齐的功能,帮助生成器更好地专注于学习人像在真实域和卡通域中不同部位的风格特点,有效地避免因数据集产生的生成图像内容混乱问题。2.针对经典算法cyclegan在照片到卡通头像的迁移问题上存在的迁移效果不佳的问题,设计了一种基于域判别的卡通头像生成算法。通过加入域判别模块来舍弃源域图像中的专有特征,同时将cyclegan的生成图像作为一个新的判别类。这些改进较有效的解决了cyclegan存在的风格转换问题。3.针对身份保持不佳和细节生成不佳的问题,设计了基于多尺度特征的卡通头像生成算法。该算法加入了多尺度特征模块、U-Net长跳转连接以及专注于判别脸部五官生成效果的局部判别器,提升了图像的生成质量。4.为了避免同区域色块颜色不平滑问题的出现,作者设计了基于伪真实图像的卡通头像生成算法,该算法通过生成伪真实人脸图像来消除同一封闭区域颜色变化的情况。在算法中加入了伪真实循环一致性损失和身份损失,解决了身份不一致和色块不均匀的问题。客观和主观实验都表明,本文算法能较好地生成符合特定风格且身份明确的卡通人脸图像。使用FID距离评估生成图像的质量好坏,该距离越小表示图像质量越好。本文算法的FID是基准算法cyclegan的47.25%,说明相较于经典算法cyclegan,本文算法生成的卡通图像分布更接近真实卡通图像分布。

关键词：生成对抗网络 cyclegan 风格迁移人脸卡通化卡通头像

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征图的对抗样本检测研究

基于特征图的对抗样本检测研究

作者：温皓涌广州大学

学位级别：硕士

对抗攻击技术可通过添加扰动生成使神经网络模型预测错误的对抗样本,且所添加的扰动可以实现非常小的粒度,人眼对此难以察觉。对抗样本会对深度学习应用造成一定程度的威胁,例如自动驾驶、刷脸支付、篡改检测等,成为深度学习鲁棒性中无... 详细信息

对抗攻击技术可通过添加扰动生成使神经网络模型预测错误的对抗样本,且所添加的扰动可以实现非常小的粒度,人眼对此难以察觉。对抗样本会对深度学习应用造成一定程度的威胁,例如自动驾驶、刷脸支付、篡改检测等,成为深度学习鲁棒性中无法绕开的一个问题。对抗样本检测技术通过检测来预防神经网络出错。对抗样本检测研究需要解决的科学问题:一是检测需要达到尽可能低的误判率;二是检测模型达到尽可能低的复杂度。围绕此两个问题,本文针对图片分类的对抗样本检测研究,提出了基于特征图的检测方法,主要工作与创新点如下:·基于多层特征图的检测方法:本文以神经网络模型的多层特征图作为对抗样本检测的依据,提出了聚合特征图检测方法以及池化特征图检测方法。实验结果表明聚合特征图检测方法的检测率高于已有的检测方法,池化特征图检测方法的模型复杂度低于已有的检测方法,同时保持了良好的检测性能。·基于Cycle GAN的特征图差异性检测方法:本文在上述方法的基础上,进一步提出了将输入样本经由Cycle GAN的循环一致性过程得到循环样本,并以输入样本与循环样本的多层特征图差异性作为对抗样本检测依据的检测方法。实验结果表明,该检测方法具有良好的检测性能、泛化能力及抵抗二次攻击的能力。

关键词：深度神经网络对抗样本特征图检测 cyclegan

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的变电站设备缺陷检测与分割

基于深度学习的变电站设备缺陷检测与分割

作者：徐运华石家庄铁道大学

学位级别：硕士

变电站设备的正常运行是电力系统稳定运行的先决条件,因此变电站设备的缺陷检测是非常必要的,如何快速准确发现变电站设备存在的隐患成了一个重要问题。传统检测主要依靠于人工检测,这种方式在时间、效率、安全等方面存在着很多弊端,已... 详细信息

变电站设备的正常运行是电力系统稳定运行的先决条件,因此变电站设备的缺陷检测是非常必要的,如何快速准确发现变电站设备存在的隐患成了一个重要问题。传统检测主要依靠于人工检测,这种方式在时间、效率、安全等方面存在着很多弊端,已经不能满足变电站的安全巡检需求。随着人工智能、图像处理技术的发展,深度学习算法为变电站设备的自动巡检提供了新的技术方案。本文基于实际项目需求对深度学习算法进行相关研究和改进,最终将其应用到变电站设备缺陷检测和分类中。论文主要研究工作如下:(1)图像预处理及数据增广。由于变电站缺陷设备的数据集较少,在自采集数据集基础上先使用几何变换法进行数据增广,然后通过Cycle GAN算法对数据集进行增强,有效的解决了小样本数据问题。(2)在缺陷检测阶段针对变电站设备缺陷检测提出基于无锚双向跨尺度特征融合的缺陷检测算法。使用Efficient Net作为特征提取网络,可以根据应用场景从而选择不同的模型;针对缺陷设备尺寸相差较大、小目标物体难以定位的问题,使用改进的Bi FPN来进行特征融合,以提高检测精度;为克服检测算法在设置锚框所带来的超参设定难、Io U计算占用资源大、正负样本数量差异较大的问题,使用无锚机制来对特征图进行目标分类及位置回归。同时使用自适应训练采集方法进一步优化正负样本分类问题,有效的提升了检测精度与检测速度。(3)在缺陷分割阶段提出了基于瓶颈注意力机制的缺陷分割算法。为解决分割过程中对小目标物体分割不友好问题引用瓶颈注意力机制;在减少参数、增加感受野并尽可能多的保留关键特征前提下,在改进后的ASPP中使用四种不同采样率的空洞卷积;为了实现图像目标多尺度和高效率的分割,使用编码器-解码器思想将改进后带有空洞卷积的ASPP结构与编码器-解码器结构相结合,最后使得分割出来的模型边缘更加精确。(4)基于QT框架并结合上述检测和分割算法模型,设计一套变电站设备监控管理系统。实现视频实时监控,视频回放,缺陷检测与分割,记录上传,日志查询,系统设置等功能。该系统投入使用到企业委托项目后,实现变电站“少人值守、无人值班、区域检修”的新运营模式,对推动变电站设备从传统型到监控型的转变具有重要意义。

关键词：变电站设备缺陷检测 cyclegan 无锚机制缺陷分割 ASPP模块瓶颈注意力

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的太阳图像映射算法研究

基于生成对抗网络的太阳图像映射算法研究

作者：吴娴中央民族大学

学位级别：硕士

图像映射是指将目标图像从一个域以合理的方式转换到另外一个域,研究者们常常使用生成对抗网络的方法来实现图像映射。但是,这种对抗学习的方法仍存在不足之处,因为使用生成对抗网络生成的图像在细节方面与真实图像仍然有着较大的差距... 详细信息

图像映射是指将目标图像从一个域以合理的方式转换到另外一个域,研究者们常常使用生成对抗网络的方法来实现图像映射。但是,这种对抗学习的方法仍存在不足之处,因为使用生成对抗网络生成的图像在细节方面与真实图像仍然有着较大的差距。主要是由于研究者在使用生成对抗网络方法进行研究的时候往往会忽略图像结构方面的信息。而且普通的生成对抗网络的结构比较简单,对于图像的细节信息以及复杂的层次信息的学习能力较弱。由于太阳磁场图像在太阳物理研究领域占据着非常重要的位置,而保存下来的具有利用价值的太阳磁场图像并不多,因此本文提出了基于改进的生成对抗网络的太阳磁场图像映射算法,旨在基于给定的Halpha图像生成其对应的太阳磁场HMI图像。考虑到数据匹配的问题,本文从两种角度出发,利用有监督的Pix2PixHD网络和无监督的cyclegan作为基准模型,对这两种模型进行改进,来辅助太阳Halpha图像到太阳磁场HMI图像映射,提升了生成的磁场图像效果。(1)首先,对目前的经典模型Pix2PixHD的进行改进与优化,构建了一种引入金字塔池化模块的Pix2PixHD模型,在原来的生成器之后加入了一个增强细节信息的金字塔池化模块,然后使用通道融合的方法将增强器的输出进行拼接融合输出更高质量的图像。之后,使用多尺度判别器对生成图像进行判别得到输出的太阳磁场图像。通过与经典的有监督模型进行对比实验发现,本文改进的网络比原网络具有更好的风格转换效果。(2)此外,由于成对的太阳halpha图像和太阳磁场图像的收集存在一定的难度,因此本文从无监督对抗学习的角度出发,对经典的无监督模型cyclegan进行改进与优化,通过在生成器中加入注意力模块使模型更加关注图像的重点区域,并对其进行了深入分析和验证。通过与经典的无监督模型进行对比实验发现,加入了注意力机制模块的cyclegan模型能够在没有匹配数据的前提下生成更加清晰、细节更加丰富的太阳磁场图像。

关键词： Pix2PixHD cyclegan 注意力机制太阳图像

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义引导的循环一致对抗图像自动着色

基于语义引导的循环一致对抗图像自动着色

作者：肖雨璇江西师范大学

学位级别：硕士

图像着色任务的目的是将灰度图像的每个像素转换成合适的色彩像素,以使生成的着色图像具有感知上的意义和视觉吸引力。图像着色可协助视觉理解和对象跟踪等高级任务。在我们的日常生活中,无论是重燃尘封的回忆还是表达艺术创造,着色技... 详细信息

图像着色任务的目的是将灰度图像的每个像素转换成合适的色彩像素,以使生成的着色图像具有感知上的意义和视觉吸引力。图像着色可协助视觉理解和对象跟踪等高级任务。在我们的日常生活中,无论是重燃尘封的回忆还是表达艺术创造,着色技术都能够起到关键作用。因此它一直是图像处理和计算机图形学研究领域中的活跃主题。图像着色是一种病态且模棱两可的问题。由于许多颜色共享同一灰度像素值,解决方案空间中存在的多模式性使得图像着色成为一项极富挑战性的任务且没有独特的标准解决方案。作为一种无需人工干预即可自动为灰度图像自动上色的图像着色技术,自动着色一直是图像着色研究领域中的一个活跃分支。与现有的大多数方法都集中在监督学习和色彩空间转换技术上以恢复原始图像的颜色不同,本文认为合理的解决方案是生成一些看起来很自然的着色结果,并且应避免成对的训练数据,以免数据收集不便。此外,本文认为无论要分配哪种颜色的区域,着色区域都应在语义和空间上保持一致。由于对应于灰度值的颜色值不是唯一的,因此严格的监督学习可能会导致不饱和着色。基于GAN的生成方案需要在语义空间上保持高度一致。为此,本文提出了一种基于非成对样本的无监督自动着色方案ACcyclegan。特别是,在cyclegan的启发下,本文将着色过程视为图像转换,并使用循环一致性思想来训练模型。在训练过程中,将高级身份损失修改和低级灰度损失引入优化模型。本文在PASCAL VOC 2007中随机抽取的数据作为训练集,因为本文的架构不需要大量数据来进行训练。其着色实验结果证明了本文基于循环一致对抗着色方案有效性。为了保证着色区域在语义与色彩特征空间上的一致性,本文进一步提出了以语义分割任务为指导的生成器来预测颜色分布,并将提出的灰度损失由L1范数优化为L2范数。本文使用PASCAL VOC 2012中随机抽取的少量数据集上训练进一步提出的模型。为了验证改善后模型的性能,本文使用一些流行先进方案进行了对比实验,并探索了模型组件对性能的贡献。实验结果表明,本文提出的方案可以生成令人信服的颜色,同时保持图像内容的一致性。

关键词：图像着色图像处理不成对的训练无监督学习 cyclegan

手绘草图检索研究及其在生成对抗学习中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

手绘草图检索研究及其在生成对抗学习中的应用

作者：许广龙广东财经大学

学位级别：硕士

手绘草图检索（SBIR）是图像检索领域的一个重要分支,它主要通过对物体外观的简单描绘,试图检索到相关的真实图片。细粒度手绘草图检索（FG-SBIR）则是更为精细的检索方式,然而,人类的手绘草图往往是笔划简单、高度抽象,并且充满许多不... 详细信息

手绘草图检索（SBIR）是图像检索领域的一个重要分支,它主要通过对物体外观的简单描绘,试图检索到相关的真实图片。细粒度手绘草图检索（FG-SBIR）则是更为精细的检索方式,然而,人类的手绘草图往往是笔划简单、高度抽象,并且充满许多不同的含义。这使得FG-SBIR问题更具有挑战性。本文提出了一个新的结合注意力机制求解FG-SBIR问题的新模型,通过引入联合损失函数,并用弹性网络对参数进行正则化处理。注意力机制用于施加权重,达到关注局部信息的作用,从而能更准确的提取图片局部特征。联合损失函数弥补了草图与真实图片间的领域间隙,实现更精细的跨域检索。而弹性网络正则化处理保证了草图的稀疏特性,防止过度稀疏。本文的模型在QMUL-shoe、QMUL-chair和QMUL-handbag三个细粒度手绘草图数据集上进行了有效性检验。接着,进一步研究了零样本情况下的手绘草图检索。首先,针对Cycle GAN网络在零样本草图检索上存在的不足,对其进行了改进,具体体现在:为了让模型能区分类别特征,引入了分类损失函数,使其更方便进行图像检索。同时,为了保持原始草图的特征,防止生成器过度学习,引入了恒等映射损失进行约束。接着,通过循环一致约束的思想,利用语义信息作为监督,实现了将草图和真实图片映射到一个共同的特征空间中。最后,在Sketchy（Extended）和TU-Berlin（Extended）两个数据集上证实了模型的有效性。

关键词：手绘草图检索 FG-SBIR 零样本学习 cyclegan

基于改进对偶生成对抗网络的镜面物体表面高光去除的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进对偶生成对抗网络的镜面物体表面高光去除的研究

作者：陈俊超武汉纺织大学

学位级别：硕士

高光泽皮革、玻璃、塑料、金属部件等具有镜面反射特性的物体图像表面上的高光,使得适用于漫反射特性的物体检测、内在图像分解和跟踪等光学测量技术难以直接应用,因此高光检测与消除一直是计算机视觉研究领域的热点问题。近年来,以CNN... 详细信息

高光泽皮革、玻璃、塑料、金属部件等具有镜面反射特性的物体图像表面上的高光,使得适用于漫反射特性的物体检测、内在图像分解和跟踪等光学测量技术难以直接应用,因此高光检测与消除一直是计算机视觉研究领域的热点问题。近年来,以CNN为代表的深度卷积神经网络作为一种泛化的函数映射关系拟合方法,在图像数据处理研究领域表现出广泛的优越性。深度卷积神经网络可以对大量配对镜面反射-漫反射的数据集进行有监督的学习,利用镜面反射域到漫反射域的映射关系以去除物体表面的高光。然而,配对数据集的获取在现实中存在一定的困难,但我们可以很容易获得大量非配对数据。以cyclegan为首的对偶生成对抗网络,是一种无监督的学习框架,该框架可充分的利用非配对数据集学习两个域之间的映射关系。本文在经典cyclegan的基础上建立了改进的对偶生成对抗网络框架,该框架主要解决以下两个问题:(1)在对偶生成对抗网络cyclegan的基础上,引入了一个基于独立平均值的置信图。cyclegan+置信图可以引导网络快速搜索初始值,从而解决目前没有一个非常严格的数学定义来区分镜面反射成分和漫反射成分而使网络收敛速度慢的问题。(2)对于典型的高光泽金属球体,其实测值的非峰值部分的漫反射分量仅为0.1左右,而峰值中的镜面反射分量可以达到100。为了解决高光泽镜面反射物体镜面反射峰值远大于非峰值时的漫反射值,而导致的优化过程中产生的异方差性问题,我们提出了一种基于对数的度量方式,使得镜面反射成分和漫反射成分具有可比性。同时,在改进网络的生成器中,使用Dense Net和U-Net相结合的结构替代初始的Res Net架构,可使网络的参数量变少且层次加深,进而使得网络收敛速度加快以及可提取到更丰富的特征信息。此外,本文在改进网络的基础上引入感知损失,目的是避免在卷积下采样会丢失相关的特征信息,从而确保生成图像的稳定性。

关键词：生成对抗网络 cyclegan 置信图 U-Net