基于多文本描述的图像生成方法

作     者：聂开琴 倪郑威 NIE Kaiqin;NI Zhengwei

作者机构：浙江工商大学信息与电子工程学院浙江杭州310018 

出 版 物：《电信科学》 (Telecommunications Science)

年 卷 期：2024年第40卷第5期

页      面：73-85页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：浙江省自然科学基金资助项目(No.LQ22F010008) 

主　　题：文本生成图像 生成对抗网络 计算机视觉 语义一致性 自注意力 

摘      要：针对单条文本描述生成的图像质量不高且存在结构错误的问题进行研究,采用多阶段生成对抗网络模型,并提出对不同文本序列进行插值操作,从多条文本描述中提取特征,以丰富给定的文本描述,使生成图像具有更多细节。为了生成与文本更为相关的图像,引入了多文本深度注意多模态相似度模型以得到注意力特征,并与上一层视觉特征联合作为下一层的输入,从而提升生成图像的真实程度和文本描述之间的语义一致性。为了能够让模型学会协调每个位置的细节,引入了自注意力机制,让生成器生成更加符合真实场景的图像。优化后的模型在CUB和MS-COCO数据集上进行验证,生成的图像不仅结构完整,语义一致性更强,视觉上的效果更加丰富多样。