自适应热力估计的RGB-T显著性目标检测方法研究

作     者：李进熙 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：唐赫

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：RGB-T显著性目标检测 热力估计 模态对齐 模态融合 

摘      要：显著性目标检测旨在从图像或视频中分离出最吸引视觉注意力的物体,这一研究受启发于人类视觉注意机制。尽管基于彩色图和热力图的显著性目标检测方法能够提供相比于传统显著性目标检测更高的性能,但普通网络都在计算中忽略了热力图中噪声的影响。这些干扰噪声多来源于不稳定的采集设备、物体辐射、传感器温度等。此外,热力图和彩色图还存在一些模态未对齐下的特征融合,使得融合特征的有效性下降。为了更有效地发挥热力模态的作用,首先,提出了一种基于自适应动态引导的热力估计方法。该方法使用热力图做监督,从彩色图中发掘潜在信息,并使用动态引导的机制加强两种模态的联系,最终预估出热力信息,对原热力信息做增强和补充。其次,在此基础上,提出了一种基于特征变换的方法,用于对齐原热力图与预估热力图,消除原热力图相较于预估热力图和彩色图的偏差,并实现了原热力图与预估热力图的动态融合,进一步提高了热力模态的有效性。最后,还整合了上述工作,提出了基于彩色图和热力图的显著目标检测网络框架。通过实验对网络的有效性进行了验证,实验结果在三个数据集上相比当前最先进的方法均有显著的提升。F-measure分别在VT821、VT1000和VT5000数据集上提升了3.7%、2.6%和2.7%。