基于SASGAN的戏剧脸谱多样化生成

作     者：古天骏 熊苏雅 林晓 GU Tianjun;XIONG Suya;LIN Xiao

作者机构：上海师范大学信息与机电工程学院上海200234 上海交通大学海洋装备研究院上海200240 上海师范大学上海智能教育大数据工程技术研究中心上海200234 上海市中小学在线教育研究基地上海200234 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2024年第45卷第1期

页      面：102-111页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61502220 61572326 61775139 61872242) 

主　　题：戏剧脸谱 生成对抗网络 图像生成 注意力机制 矢量量化 

摘      要：为解决现有自动生成的戏剧脸谱在分辨率和真实性上效果不佳的问题,提出了基于自注意力机制的风格化生成对抗网络(SASGAN)。首先在StyleGAN的基础上引入了自注意力机制以及矢量量化方法,增强了对脸谱图案几何结构特征的提取,接着通过多样化差异性增强(DDG)扩充数据,采用脸谱色调辅助算法对DDG方法进行补充,建立了包含12599张图像的戏剧脸谱数据集,最后在此数据集上进行训练,生成了兼顾多样性和真实性的脸谱图像。实验结果表明,对于戏剧脸谱图像,DDG方法较传统方法在数据增广方面有着较大提升,而SASGAN则提升了戏剧脸谱图像的分辨率和真实性,在主观视觉上得到了理想的效果。