基于多尺度与注意力特征增强的遥感图像描述生成方法

作     者：赵佳琦 王瀚正 周勇 张迪 周子渊 ZHAO Jia-qi;WANG Han-zheng;ZHOU Yong;ZHANG Di;ZHOU Zi-yuan

作者机构：中国矿业大学计算机科学与技术学院江苏徐州221116 矿山数字化教育部工程研究中心江苏徐州221116 灾害智能防控与应急救援创新研究中心江苏徐州221116 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2021年第48卷第1期

页      面：190-196页

学科分类：0810[工学-信息与通信工程] 08[工学] 081002[工学-信号与信息处理] 

基　　金：国家自然科学基金(61806206) 江苏省自然科学基金(BK20180639) 电子元器件可靠性物理及其应用技术重点实验室开放基金(614280620190403-1)。 

主　　题：注意力机制 特征增强 长短期记忆网络 遥感图像描述生成 

摘      要：遥感图像描述生成是同时涉及计算机视觉和自然语言处理领域的热门研究话题,其主要工作是对于给定的图像自动地生成一个对该图像的描述语句。文中提出了一种基于多尺度与注意力特征增强的遥感图像描述生成方法,该方法通过软注意力机制实现生成单词与图像特征之间的对齐关系。此外,针对遥感图像分辨率较高、目标尺度变化较大的特点,还提出了一种基于金字塔池化和通道注意力机制的特征提取网络(Pyramid Pool and Channel Attention Network,PCAN),用于捕获遥感图像多尺度以及局部跨通道交互信息。将该模型提取到的图像特征作为描述生成阶段软注意力机制的输入,通过计算得到上下文信息,然后将该上下文信息输入至LSTM网络中,得到最终的输出序列。在RSICD与MSCOCO数据集上对PCAN及软注意力机制进行有效性实验,结果表明,PCAN及软注意力机制的加入能够提升生成语句的质量,实现单词与图像特征之间的对齐。通过对软注意力机制的可视化分析,提高了模型结果的可信度。此外,在语义分割数据集上进行实验,结果表明所提PCAN对于语义分割任务同样具有有效性。