结构增强的联合向量场目标6DoF姿态估计方法研究及其应用

作     者：黄雨青 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：蔡超

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：6DoF姿态估计 关键点定位 像素级投票 图卷积神经网络 联合向量场 空洞金字塔池化 军事目标 

摘      要：目标感知是机器理解环境中的重要一环,6DoF姿态估计技术可提供目标相对于摄像头的位置及角度信息,进而用于目标轨迹跟踪、轨迹预测、意图识别等任务,为自动驾驶、机器人交互、增强现实提供立体感知支撑。目前,基于像素级投票的姿态估计方法对目标受到遮挡、截断等场景展示出了一定的鲁棒性,本文针对现有方法不足提出了一种结构增强的联合向量场目标6DoF姿态估计方法。针对现有方法利用结构信息不足的问题,提出了一种新的结构信息引入方式及结构增强的像素级投票网络。其在目标3D模型表面定义关键点,在物体坐标系中建立关键点图,使用图卷积神经网络提取关键点图中的结构特征,使用卷积神经网络提取图像中的表观特征,将结构特征和表观特征像素级连接,为关键点定位任务提供结构增强支撑。公开数据集上的实验结果表明其可有效改善目标受到遮挡、截断等场景下的姿态估计性能。针对目标拍摄距离较远时有效投票像素较少,导致基于像素级投票的关键点定位方法可靠性下降的问题,提出了一种基于联合向量场的关键点定位方法及结构增强的联合向量场像素级投票网络,充分利用不同向量场的信息互补性提高关键点定位的鲁棒性。针对目标在图像中尺度变化悬殊的问题,引入空洞金字塔池化模块以增强模型的多尺度特征感知能力。公开数据集上的实验结果表明其可改善语义分割性能,并在目标受到遮挡、截断等场景下具有先进的姿态估计性能。以无人机空战为背景,验证了本文方法在军事目标姿态估计任务中的有效性。针对典型军事目标战斗机、坦克,通过合成渲染生成了一个具有挑战性的军事目标6DoF姿态估计数据集,其测试场景覆盖多种拍摄距离及角度、多种光线条件、云层/植被遮挡、边缘截断、复杂地空背景等。实验结果表明:本文方法对于战场环境中的光线变化、杂乱的背景、目标受到遮挡、截断、损坏等场景具有一定的鲁棒性,在严苛的战场环境中具备军事目标6DoF姿态估计能力。