内容特征一致性风格迁移网络

作     者：毛琳 王萌 杨大伟 Mao Lin;Wang Meng;Yang Dawei

作者机构：大连民族大学机电工程学院大连116600 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第6期

页      面：892-900页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61673084) 辽宁省自然科学基金(20170540192,20180550866) 民族创新联合基金(2020-MZLH-24) 

主　　题：风格迁移 链路模块 前馈参考 内容特征 内容编码 

摘      要：针对编解码风格迁移网络在内容特征传递和跨域特征融合过程中易产生误差的问题,提出一种内容特征一致性风格迁移网络.将源域和目标域图像输入编码模块分别提取内容和风格特征;双链路特征传递模块在内容编码和解码模块间构建同级特征映射,利用特征增强和前馈参考链路并行处理内容特征;内容和风格特征在解码模块中融合并输出风格迁移结果.在多模态无监督图像转换(MUNIT)网络的基础上进行仿真测试,该网络对于低光照环境中目标模糊和目标与背景反差小的情况迁移效果提升明显.在BDD100K数据集上的实验结果表明,与MUNIT网络相比,所提网络的FID和IS指标分别平均下降3.2%和提升8.6%,能够实现图像内容一致、风格精确的图像变换,适用于无人驾驶等应用场景.