基于动态感受野的自适应多尺度信息融合的图像转换

作     者：尹梦晓 林振峰 杨锋 YIN Mengxiao;LIN Zhenfeng;YANG Feng

作者机构：广西大学计算机与电子信息学院南宁530004 广西多媒体通信与网络技术重点实验室南宁530004 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2021年第43卷第8期

页      面：2386-2394页

核心收录：

学科分类：0711[理学-系统科学] 0808[工学-电气工程] 07[理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61762007,61861004) 广西自然科学基金(2017GXNSFAA198269,2017GXNSFAA198267)。 

主　　题：图像转换 多尺度信息 动态感受野 自适应特征选择 

摘      要：为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力。在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN)。与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量。在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN)。该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器。此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成。实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果。GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像。