基于CycleGAN的人脸—漫画转化算法研究与实现

作     者：徐啸 

作者单位：武汉邮电科学研究院 

学位级别：硕士

导师姓名：廖闻剑

授予年度：2023年

学科分类：1304[艺术学-美术学] 13[艺术学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像风格转换 CycleGAN 自注意力机制 损失函数 

摘      要：随着新一代信息技术深入应用,传统图像风格迁移技术已经无法满足以元宇宙与网络动漫等为代表的新兴行业的技术需求。生成对抗网络的提出,大大拓展了图像风格迁移技术的发展思路并在生成图像真实性与清晰度方面表现优异。然而网络上大多数的漫画人脸趋同,脸部特征单一,但如果进行较为细致的刻画,制作成本很高。本文在对经典无监督风格转换的CycleGAN模型进行分析、研究与实验的基础上,提出了基于自注意力机制的CycleGAN人脸漫画风格转换模型,在人脸漫画风格转换方面效果优异。本文的工作主要体现在以下几个方面:(1)对于CycleGAN模型存在导致内容图像的结构和显著区域在风格化的过程中发生扭曲和丢失等问题,本文借鉴SAGAN网络,将自注意力机制与CycleGAN网络进行结合。用带有自注意力的特征图去代替传统的卷积特征图,通过自注意力机制获取图像的全局信息,解决了产生的图片就会缺乏结构特征的完整性的问题。(2)本文为突出人脸特征信息,降低背景的无效信息对人脸信息的干扰,采取了包括检测人脸及关键点、根据关键点校正人脸、裁剪人脸信息、置空背景信息等预处理操作,改善了风格转换的效果。同时,加入标签平滑化,增加网络的泛化能力,对生成的图像预测更加准确。(3)本文改进损失函数,增加总变异损失函数,实现真实图像的去噪,转换它们显示的颜色变化的广谱,并用更简单的颜色变化取代该光谱。本质上是用单一颜色替换大表面的复杂颜色,减少了图像噪声,使生成图像更加真实。本文的主要工作是对原始CycleGAN网络进行改进和优化,构建了一个基于自注意力机制的循环一致性生成对抗网络。通过对组实验对比,本文改进的网络在真实人脸与漫画风格人脸转化的实验中,具有更加真实更加细腻的转换结果。