基于生成对抗网络的人脸素描合成算法研究

作     者：孙笑笑 

作者单位：东北石油大学 

学位级别：硕士

导师姓名：葛延良;傅龙

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：生成对抗网络 卷积神经网络 深度学习 多尺度特征提取 注意力机制 

摘      要：人脸素描合成是图像风格迁移领域的一个分支,是计算机视觉领域的一个热点研究方向,人脸素描合成目的在于以给定的人脸和相对应素描图像为基础获得其他人脸所对应素描图像,生成对抗网络可以较为真实的输出人脸风格迁移后的素描图案。人脸素描合成广泛应用在生活、刑事侦查、数字娱乐、漫画制作及电影制作等多个行业中,传统的生成对抗网络在图像风格迁移中应用广泛,但是通过这些方法得到的素描图像却不太能够与真实素描相媲美,一方面是生成对抗网络在学习人脸到素描的映射过程主要取决于训练网络时自动学习定义潜在的损失函数,另一方面,在人脸风格化成素描的时候具有抽象感,并且素描图像的风格多变且随机,都为得到清新素描图增加挑战,所以生成对抗网络的本身对训练的数据集具有一定的要求。基于以上现存的情况,本文对人脸素描合成算法做以下的设计和改进。（1）基于循环生成对抗网络的人脸素描合成网络设计提出采用循环生成对抗网络（Cycle-Generative Adversarial Networks,Cycle GAN）用于人脸素描合成,通过构建多尺度Cycle GAN,结合VGG16模块设计成深度监督的UNet++结构,设计密集跳跃连接,对图像信息进行多尺度特征提取;为使网络合理的分摊像素低频信息和高频信息的权重,在生成器中增加像素注意力模块。（2）提出基于多尺度自注意力机制Cycle GAN的人脸素描合成提出自注意力机制的Cycle GAN;降低网络冗余的同时改进对U-Net结构中的下采样和上采样,以提高特征分辨率,获取细节信息;设计的多尺度特征聚合模块,采用不同采样率的多个并行空洞卷积,整合了来自不同尺度上的空间信息;保持图像较大感受野的同时,多比例的捕捉图像信息;最后,为捕获空间维度和通道维度中的特征依赖关系,设计的像素自注意力模块对空间维度和通道维度上的语义依赖关系进行建模,以增强特征的表现能力。通过与经典法模型在基准数据集上进行性能比较,该算法展现出较好的性能。