基于多模态图像融合的目标识别算法研究

作     者：刘珂琪 

作者单位：西安工业大学 

学位级别：硕士

导师姓名：董绵绵

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：多模态图像 行人目标识别 多阶段特征融合 光照感知权重融合模块 

摘      要：近年来,随着现代社会迅速发展,信息呈现出多样化、复杂化的特点,目标识别技术作为计算机视觉领域的一个重要研究方向受到越来越多的重视,在智能驾驶、视频监控、遥感等诸多领域得到极大发展和应用。其中,在智能驾驶方面,由于城市道路环境的复杂性,有效识别行人目标是保障智能驾驶安全性的重要一环。传统的行人目标识别方法仅利用可见光单模态图像特征完成,导致目标识别在全天候条件下目标识别性能低下。由于红外模态与可见光模态之间具有互补特性,目前提出了以多模态图像融合为思想的目标识别算法。但现有算法存在未考虑不同光照条件、不同模态之间的差异性等问题,因此,如何有效的结合这两种模态之间的特征信息,提高目标的识别准确率,已成为当前研究的热点与重点。本文主要针对可见光模态与红外模态两种不同模态进行基于多模态图像融合的目标识别算法研究,主要研究内容如下:针对单一模态下的行人目标识别算法在全天候场景下识别性能较差、现有的多模态图像融合方法仅在某一阶段进行融合导致其他阶段特征浪费的问题,提出了一种基于多模态多阶段图像融合的行人目标识别算法。该算法以SSD算法作为基本的检测识别框架,并将其扩展到双流,采用直接堆叠的融合策略对两种模态特征进行融合,比较与分析单阶段和多阶段两种不同特征融合方式。通过实验证明,多阶段特征融合方式为最佳的融合方式。另外,多模态行人目标识别性能与单模态条件下相比更具优势。针对现有基于多模态图像融合的目标识别未考虑到不同光照条件下不同模态对融合特征的生成所占比例不相同的问题,提出了一种基于光照感知权重融合的多模态行人目标识别算法。该算法先将可见光特征与红外特征经过ECA注意力机制模块,以增强特征表示;然后,在此基础上,将特征送入到所设计的基于小型神经网络的光照感知权重融合模块中,学习获取不同模态所对应的权重,解决了现有光照加权对不同模态的特征按照1:1的方式进行堆叠的问题;最后,将获取到的权重与其相应的特征进行加权融合,生成融合特征,并将这些特征送入行人检测识别网络,完成识别。通过实验证明,该融合策略能够在一定程度上提升行人目标的识别性能。针对现有多模态特征融合模块将生成的融合模块直接用于行人识别网络,存在不同模态之间差异性较大、交互性不够的问题,提出了一种基于多模态特征互指导的行人目标识别算法。首先,通过将生成的可见光特征与红外特征送入到差异特征感知融合模块中缩小两种不同模态之间的差异性,并生成融合特征;然后,将融合特征再返回到可见光与红外特征流中,使下一阶段生成的可见光与红外特征具有更丰富的信息;除此之外,还将融合特征作用于下一阶段的融合特征,增强融合特征的表征能力;最后,将最后一阶段的可见光特征、红外特征及融合特征均送入到识别网络中进行行人目标识别。通过实验证明,该算法进一步提升了目标的识别性能,并增强了模型的鲁棒性能。本文基于特征级融合方式研究可见光与红外两种模态融合下的目标识别算法,通过KAIST数据集对算法进行性能验证的同时,在LLVIP据集、MFD数据集上也进行泛化性能验证,在一定程度上表明算法在实际场景的可行性,具有一定的理论研究意义。