融合轻量级ViT和GAN的艺术风格迁移方法

作     者：庾晨龙 邵叱风 YU Chenlong;SHAO Chifeng

作者机构：安徽理工大学计算机科学与工程学院安徽淮南232001 

出 版 物：《兰州工业学院学报》 (Journal of Lanzhou Institute of Technology)

年 卷 期：2024年第31卷第3期

页      面：90-94页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：安徽省教育厅重点项目(2022AH051638 2022AH051651) 

主　　题：Vision Transformer 艺术风格迁移 对抗生成网络 艺术真实感 

摘      要：针对Vision Transformer(ViT)艺术风格迁移方法存在的局部信息提取能力不足、迁移效率低和风格化结果中出现伪影的问题,提出一种轻量级ViT和对抗生成网络(GAN)相结合的方法LVGAST。该方法利用局部和全局信息的互补提高网络的推理速度与风格化质量,并通过对抗训练增强风格化结果的艺术真实感,并与6种最先进的艺术风格迁移方法进行定性和定量比较。结果表明:在定性方面,LVGAST的视觉效果更具艺术真实感;在定量方面,LVGAST分别在SSIM、Style loss上达到了0.499、1.452,且推理速度在ViT类方法中达到最快(0.215 s/张)。LVGAST结合了卷积神经网络和ViT网络的优点,提高了风格化效率,同时引入了判别网络,使风格化结果更加真实。