基于跨层级注意力学习的RGB-T显著目标检测

作     者：魏明军 魏帅 刘亚志 李辉 

作者机构：华北理工大学人工智能学院 河北省工业智能感知重点实验室 

出 版 物：《郑州大学学报(理学版)》 (Journal of Zhengzhou University(Natural Science Edition))

年 卷 期：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：河北省高等学校科学技术研究项目(ZD2022102) 

主　　题：多模态 非局部注意力 RGB-T 显著目标检测 特征融合 

摘      要：RGB-热成像显著目标检测(RGB-T SOD)旨在分割可见光图像和相应热红外图像中的常见突出区域。针对现有方法中没有充分利用多模态间的跨层级互补信息的问题,提出了一种用于RGB-T SOD任务的跨层级特征注意力学习网络(CALNet)。具体来说,该网络中包含一个跨层级注意力学习模块(CAL),CAL使用非局部注意力对多模态间的跨层级信息进行交互,能够充分探索不同模态和不同层级间的全局位置与局部细节线索。此外,网络还引入了全局信息模块(GIM)与多交互模块(MIB),二者能够在逐层级解码中建模和挖掘多类型信息,以实现更精准的RGB-T SOD。在公共数据集RGB-T上进行的广泛实验表明,所提出的网络与领域内先进的算法相比,取得了优异的性能。