基于小样本学习的图像生成

作     者：王峥力 

作者单位：南京理工大学 

学位级别：硕士

导师姓名：陆建峰

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：图像生成 小样本学习 小样本图像生成 风格迁移 离散化编码 分布估计 局部深度描述子 

摘      要：目前的计算机视觉技术已经深度进入人们的生活,也成为了工业制造中不可或缺的一部分。图像生成技术,在深度学习技术的蓬勃发展的影响下,也得到了长足的进步。图像生成技术可以通过已有的图像生成从未见过的新图像,具有很大的应用潜力。同时,小样本学习旨在通过较少的样本的训练,能够对未见过的新类进行准确的分类,其研究目标是提高模型的泛化性,对于一些数据稀缺的领域有着较高的应用价值。小样本图像生成,作为图像生成和小样本学习的交叉领域,也就应运而生了。小样本图像生成旨在通过现有类别的图像的训练,在测试阶段,通过少量的新类图像,如一至三张新图像,能够为其生成大量具有真实度和多样性的新图像。小样本图像生成主要包含三种类型的方法,分别为基于转换的小样本图像生成,基于优化的小样本图像生成以及基于融合的小样本图像生成。本文在基于融合的小样本图像生成方向进行了一定的探索,主要工作如下: (1)提出了一种基于白化与着色的小样本图像生成方法,称之为WCTGAN。早期的基于融合的小样本图像生成方法使用随机插值向量进行特征层面的融合,但通常生成图像中会产生伪影,这是由于不同融合图像占有权重接近导致的。WCTGAN在基于融合的方法MatchingGAN的基础上,引入了风格层面的融合,在小样本图像生成任务中加入了白化与着色模块,使得图像的融合过程不再仅局限于利用随机插值向量进行线性融合,而可以使得不同风格的图像进行融合,产生新的融合结果,提升了图像的多样性。同时,加入了主成分筛选机制,使得总有一张输入图像作为融合中的主要成分,较好地解决了MatchingGAN中存在的较为严重的伪影问题,提高了图像的真实度。WCTGAN在MatchingGAN的基础上取得了不错的进步,并在Animal Faces,Flowers,VGGFace三个数据集上进行了定量和定性的实验,证明了所提方法的有效性。 (2)提出了一种基于动态局部分布估计和采样的小样本图像生成方法,称之为Lies-GAN。针对之前的基于融合的方法不能很好将融合后的图像的分布与输入图像的分布保持良好一致性的问题,Lies-GAN创新性地使用局部分布估计和采样的方式来创造图像的多样性,并通过选择与参考图像相似度最高的描述子来保持图像和输入图像分布的一致性,保持真实度。Lies-GAN对编码器得到的特征图的局部深度描述子进行均值和方差的统计,并以多元高斯分布作为先验分布估计出输入图像的局部深度描述子的分布。在重构过程中,随机选择一张输入图像作为参考图像,以其特征图作为空间信息的补充,计算每个位置与采样得到的描述子库中的每个描述子的相似度,选择最高值作为该位置的替换,从而等价于对采样得到的描述子恢复了空间信息。Lies-GAN在Flowers,Animal Faces,VGGFace三个常用数据集上进行了定量和定性的实验,实验结果在当时的基于融合的方法中取得了最优。