基于生成对抗网络的时尚内容和风格迁移

作     者：丁文华 杜军威 侯磊 刘金环 DING Wenhua;DU Junwei;HOU Lei;LIU Jinhuan

作者机构：青岛科技大学信息科学技术学院山东青岛266061 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第9期

页      面：261-271页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62202253) 山东省自然科学基金青年项目(ZR2021QF074) 山东省自然科学基金(ZR2021MF092)。 

主　　题：生成对抗网络 内容和风格迁移 特征融合 多域转换 层一致性动态卷积 

摘      要：生成对抗网络常常被用于图像着色、语义合成、风格迁移等图像转换任务,但现阶段图像生成模型的训练往往依赖于大量配对的数据集,且只能实现两个图像域之间的转换。针对以上问题,提出了一种基于生成对抗网络的时尚内容和风格迁移模型(content and style transfer based on generative adversarial network,CS-GAN)。该模型利用对比学习框架最大化时尚单品与生成图像之间的互信息,可保证在时尚单品结构不变的前提下实现内容迁移;通过层一致性动态卷积方法,针对不同风格图像自适应地学习风格特征,实现时尚单品任意风格迁移,对输入的时尚单品进行内容特征(如颜色、纹理)和风格特征(如莫奈风、立体派)的融合,实现多个图像域的转换。在公开的时尚数据集上进行对比实验和结果分析,该方法与其他主流方法相比,在图像合成质量、Inception score和FID距离评价指标上均有所提升。