基于图像和点云实例匹配的智能车目标检测和跟踪

作     者：李尚杰 殷国栋 耿可可 刘帅鹏 

作者机构：东南大学机械工程学院 

出 版 物：《机械工程学报》 (Journal of Mechanical Engineering)

年 卷 期：2024年

核心收录：

学科分类：080904[工学-电磁场与微波技术] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 082304[工学-载运工具运用工程] 080203[工学-机械设计及理论] 081105[工学-导航、制导与控制] 080204[工学-车辆工程] 0802[工学-机械工程] 081001[工学-通信与信息系统] 081002[工学-信号与信息处理] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 0823[工学-交通运输工程] 

主　　题：智能车 目标检测 目标跟踪 传感器融合 实例分割 透视投影 

摘      要：针对智能车的环境感知任务，为了结合相机图像中丰富的语义信息与激光雷达点云中准确的位置信息，提出一种基于图像和点云实例匹配的融合检测方法。通过实例分割网络预测图像中目标的实例掩膜，通过透视投影变换将点云投影至图像平面，根据每个目标的实例掩膜提取属于该目标的点云，然后利用聚类算法去除点云中的噪声，并利用凸包轮廓逼近算法拟合点云的三维轮廓，实现对目标的融合检测。在所提出的融合检测方法的基础上，设计跟踪门实现多目标的数据关联与管理，基于卡尔曼滤波对目标进行跟踪并估计各目标的运动状态。试验结果表明，该方法能够有效地对图像数据和点云数据进行信息融合，从而准确快速地对目标的位置、尺寸、方向角进行拟合并对目标的速度进行估计，且在不同试验场景中表现出鲁棒性。