基于图卷积神经网络的遥感图像检索研究

作     者：朱晓颖 

作者单位：南昌大学 

学位级别：硕士

导师姓名：江顺亮;叶发茂

授予年度：2023年

学科分类：0810[工学-信息与通信工程] 08[工学] 081104[工学-模式识别与智能系统] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 

主      题：遥感图像检索 图卷积神经网络 GraphSAGE 节点相似度 类别权重相似度 mAP IDGL 

摘      要：随着遥感数据获取手段的加强,需要处理的遥感信息量也急剧增加,如何提高遥感图像检索精度和检索效率成为了一个关键问题。传统的基于人工分类或标注的管理方式效率低、耗时长、成本高,难以适应海量数据的处理需求。卷积神经网络具有强大的特征提取能力,已广泛的应用于遥感图像检索领域,但卷积神经网络只能处理图像自身信息,忽略了图像之间的语义关系,而图卷积神经网络能够较好的处理图像之间的语义关系。因此,本文对基于图卷积神经网络的遥感图像检索方法进行了研究,具体工作内容如下:(1)针对卷积神经网络忽略了图像之间语义关系的问题,本文提出了基于GraphSAGE(Graph Sample and Aggregate)的遥感图像检索特征提取方法。该方法提出了基于节点相似度的节点注意力机制的邻接节点采样方法,通过加权聚合函数对采样到的邻居节点向量进行聚合,生成图节点新的嵌入表示。此外,提出了图像排名相似度(Image Rank Similarity,IRS)方法,该方法将节点连接相似度与节点特征相似度相结合。最后,提出了采用类别权重方法以进一步提升检索精度。在UCMD(UC Merced)数据集上的实验结果表明,本文方法的平均查准率(mean Average Precision,mAP)达到了 96.53%,拥有良好的检索性能。(2)为了提升节点图结构的准确性和进一步提升检索速度,首先提出一种融合 GraphSAGE 模型与 IDGL(Iterative Deep Graph Learning)模型的方法。利用IDGL模型对不准确的图结构不断优化,得到更优的图结构,以提升节点的嵌入表示的有效性。其次,通过建立正负样本库,构建合适的损失函数,以进一步提升节点嵌入表示的有效性。最后为提高遥感图像检索效率,使用K-D Tree减少构建图结构所耗时间,以提升检索速度。在UCMD和PatternNet数据集上的实验结果表明,本文方法能提升8%的检索速度,平均查准率达到96.59%,相较于其他方法有着显著的提升。