基于生成对抗网络的图像转换方法研究

作     者：杨睿 

作者单位：华东师范大学 

学位级别：硕士

导师姓名：彭超

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：图像到图像转换 生成对抗网络 注意力机制 卷积神经网络 

摘      要：图像到图像转换是计算机视觉领域一个重要的研究方向,受到学术界和工业界广泛的关注和研究。图像到图像转换目的是学习图像域之间的映射,完成从源域图像到目标域图像的转换。图像到图像转换根据训练数据是否成对可以分为有监督和无监督两种类别,其中无监督图像到图像转换是更加常见的任务。本文聚焦于无监督图像到图像转换任务,提出了两种基于生成对抗网络的图像到图像转换模型:·基于生成对抗网络的单目标域图像转换方法（CSAGAN）本文提出CSAGAN模型旨在解决在单目标域图像转换中,现有的模型受数据集的影响表现出不同的性能差异等问题。CSAGAN在模型结构和训练损失函数方面进行了改进。该模型提出了一种多尺度特征金字塔判别器AFPD,更好地区分真实图像和虚假图像。同时该模型提出了一个新的注意力模块CSA,用于引导生成器生成更接近目标域的图像。此外,在训练过程中,该模型使用了辅助类激活损失用于提升生成图像的质量,输出更加逼真的图像。·基于生成对抗网络的多目标域图像转换方法（ACAGAN）考虑到单目标域图像转换不适用于多目标图像转换任务,本文提出了ACAGAN模型用于多目标域图像转换。ACAGAN模型的生成器在基本的编码器与解码器结构上采用UNet形网络和一个自适应注意力模块ACA,避免采样过程中信息丢失问题。此外,ACAGAN模型也使用了一个新的规范化函数Ada IGN,帮助模型控制图像颜色和纹理等变化,更好地利用潜在特征的样式信息。以上提出的两个模型,本文在公开的数据集上设计了对比实验和消融实验,并和当前主流的图像转换模型作为基准模型进行比较,实验结果表明本文提出的两种图像转换模型性能都优于基准模型。