基于深度学习的交叉视图定位

作     者：傅琪 

作者单位：东南大学 

学位级别：硕士

导师姓名：孙长银

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：交叉视图定位 深度学习 部分级特征表示 方向非对齐 轻量级 

摘      要：交叉视图定位旨在将实时查询图像与预先存储在内存中、具有精准地理标记的参考航标图像进行匹配从而确定查询图像地理位置,是实现无卫星导航环境下无人车自主定位的关键技术。本项目重点关注查询图为全景街景图,航标图像为航拍图像的一类常见交叉视图定位任务。街景图与航拍图之间存在巨大的外观差异,给交叉视图定位带来巨大挑战。现有的工作主要是设计基于孪生结构的卷积神经网络及相关损失函数来实现跨视角特征表达。然而,直接采用神经网络学习跨视角特征表达很容易在具有辨别力的场景(道路、草地等)过拟合,从而增加了对未知场景进行表征学习的风险。针对上述挑战,本文对交叉视图定位任务进行深入研究,借助深度学习技术提出了一种新颖高效的交叉视图定位解决方案。本文的主要贡献如下:1.提出一种利用部分级特征表示的深度学习框架并将其应用于交叉视图定位。该框架以孪生网络为基础,首次引入部分级特征表示这一概念,并通过将部分级损失与全局检索损失相结合使得模型针对不同的部分可以学习不同的特征表示从而获得对未知场景的鉴别能力。在基准数据集CVUSA上的实验表明,本文提出的网络在不增加模型复杂度的情况下仍优于目前最先进的方法。在两个视图方向对齐的情况下,本文提出的方法召回率达到了93.22%。2.研究一类新颖的方向非对齐下的交叉视图定位问题,并提出两种解决方法:第一种是基于全局特征的非对齐交叉视图定位,该方法在利用部分级特征表示模型的基础上进行改进,将几个部分级特征拼接融合成全局特征表示,并结合基于注意力的全局特征表示,对模型进行监督训练;第二种是基于相关层的非对齐交叉视图定位,该方法直接通过相关层和回归网络估计两种视图的相关度系数,并设计基于相关度系数的三元组损失函数来优化网络模型。另外,针对非对齐定位任务,本文通过数据模拟的方式生成方向不对齐的交叉视图数据集。实验表明,在交叉视图方向不对齐的情况下,本文提出的两种解决方案效果均大幅领先于目前最先进的方法。3.考虑到移动平台硬件资源有限,设计了基于轻量化神经网络的交叉视图定位模型。以利用部分级特征表示模型为例,本文采用深度可分离卷积对模型的主干网络进行轻量化设计、从注意力机制的定义出发对模型的全局特征表示进行轻量化设计,降低了模型的参数量和计算量。在硬件资源有限的情况下,该方法能节省存储空间、提高匹配效率。