基于深度学习的多模态显著性检测模型研究

作     者：侯亦凡 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：田辉

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：显著性检测 深度学习 热红外图像 

摘      要：显著性检测技术用于定位场景中最有吸引力的目标,随着深度学习技术的快速发展,显著性检测的性能得到了大幅提升,在各领域中得到了广泛应用。多模态显著性检测通过学习不同形式的图像,使模型能够在多元化的特征中得到增强。RGB-T显著性检测将RGB图像和热红外图像共同作为输入,利用热量信息对RGB图像做出补充,以多模态的特征完成显著性检测。由于热红外图像对于光照条件要求较低,因此在多种具有挑战性的场景中起到了有效的作用。然而,当前RGB-T显著性检测的数据规模和网络结构设计仍有提升的空间。本文构建了数据集,并分别针对双分支和单分支的网络结构开展研究。主要工作如下:(1)当前RGB-T显著性检测的数据集规模相比其他计算机视觉领域仍有差距,并且数据场景的多样性和专业性不足。针对此问题,本文构建了适用于RGB-T显著性检测的数据集VT723。该数据集包含723组对应的RGB图像、热红外图像和显著性标签,呈现了真实汽车驾驶的场景。V723在为显著性检测提供更多训练和评估数据的同时,扩大了显著性检测技术的应用范围。(2)当前双分支的网络结构中,通常只用唯一的标签对两分支进行监督,难以挖掘不同模态间差异性的特征。针对此问题,本文设计了基于镜像互补网络的RGB-T显著性检测模型,将常规标签根据欧式距离分成了主干标签和轮廓标签,用于在双分支网络中分别监督RGB图像和热红外图像,充分发挥不同模态的独特优势。同时,本模型设计了双分支互补模块,对两模态信息进行注意力提取并在各分支中相互叠加,实现低层特征融合。本模型进一步设计了串联空洞卷积模块,通过串联排列的空洞卷积扩大感受野,并实现深层特征融合。在基于公开数据集和本文所构建VT723数据集的实验中,与当前研究领域的其他模型相比,本模型取得了最优的性能。(3)当前单分支的网络结构中,通常只对多模态的图像进行简单的拼接,没有在大规模的卷积运算中提取模态间的关联信息。针对此问题,本文设计了基于多维空间信息的RGB-T显著性检测模型,在单分支网络中引入了空间维度特征,将两模态图像在空间维度进行排列后输入到3D卷积网络中进行特征提取,充分学习模态间的关联信息。同时,本模型设计了逐级协同加权模块,对不同尺度的特征逐层进行位置信息和通道信息的协同加权,在3D运算中聚焦重要特征。最后,模型设计了混合损失函数,提供更加全面的损失计算,使得模型高效准确地收敛。在基于公开数据集和本文所构建VT723数据集的实验中,与当前研究领域的其他模型相比,本模型的性能排名前列。