语言引导的多粒度特征融合目标分割方法

作     者：谭荃戈 王蓉 吴澳 TAN Quange;WANG Rong;WU Ao

作者机构：中国人民公安大学信息网络安全学院北京100091 

出 版 物：《北京航空航天大学学报》 (Journal of Beijing University of Aeronautics and Astronautics)

年 卷 期：2024年第50卷第2期

页      面：542-550页

核心收录：

学科分类：07[理学] 08[工学] 082501[工学-飞行器设计] 070206[理学-声学] 0802[工学-机械工程] 0825[工学-航空宇航科学与技术] 0702[理学-物理学] 

基　　金：国家自然科学基金(62076246) 

主　　题：目标分割 指代分割 特征融合 跨模态 文本理解 

摘      要：语言引导的目标分割旨在将文本描述的目标与其所指代的实体进行匹配,从而实现对文本、实体之间关系的理解与指代目标的定位。该任务在信息抽取、文本分类、机器翻译等应用场景中具有重要的应用价值。基于Refvos模型提出一种语言引导的多粒度特征融合目标分割方法,能够对特定目标精准定位。利用Swin Transformer和Bert网络,分别提取多粒度的视觉特征和文本特征,提高对整体与细节的表征能力;将文本特征分别与不同粒度视觉特征进行融合,通过语言引导增强特定目标表达;通过卷积长短期记忆网络对多粒度融合特征进行优化,在不同粒度特征间进行信息交流,得到更精细化的分割结果。在UNC、UNC+、G-Ref、ReferIt数据集上进行训练并测试所提方法。实验结果表明:相比Refvos,所提方法在UNC数据集的val、testB子集中IoU结果分别提升0.92%、4.1%,在UNC+数据集的val、testA、testB子集中IoU结果分别提升1.83%、0.63%、1.75%。所提方法在G-Ref、ReferIt数据集的IoU结果分别为40.16%和64.37%,达到前沿水平,证明所提方法的有效性与先进性。