文本生成图像中语义-空间特征增强算法

作     者：贺小峰 毛琳 杨大伟 HE Xiao-feng;MAO Lin;YANG Da-wei

作者机构：大连民族大学机电工程学院辽宁大连116605 

出 版 物：《大连民族大学学报》 (Journal of Dalian Minzu University)

年 卷 期：2022年第24卷第5期

页      面：401-406页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金项目(61673084) 辽宁省自然科学基金项目(20170540192,20180550866,2020-MZLH-24) 

主　　题：文本生成图像 生成对抗网络 密集连接网络 特征融合 

摘      要：针对文本生成图像网络单生成器结构中语义信息与目标内容不匹配问题,提出一种语义-空间特征增强生成对抗网络(SFE-GAN)。该网络通过分别在低分辨率生成层(浅层)与高分辨率生成层(深层)引入密集连接网络,丰富传递特征多样性与加强特征融合,其中浅层约束生成图像定位,深层约束生成图像细节,进而提高生成图像与语义信息的相似性,约束生成图像细节,提升生成图像质量。在CUB数据集实验测试与SSA-GAN相比,IS和FID指标分别提升4.0%和1.3%,显著提升生成图像清晰度、多样性和与原始图像间相似性,为视频交互领域发展提供更多可能。