可见光-远红外图像的多模态能见度深度学习模型

作     者：沈克成 施佺 王晗 Shen Kecheng;Shi Quan;Wang Han

作者机构：南通大学信息科学与技术学院南通226019 南通大学交通与土木工程学院南通226019 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2021年第33卷第6期

页      面：939-946页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61872425) 南通市科技面上项目(MS12019051) 

主　　题：能见度检测 深度学习模型 可见光-远红外图像 多模态融合网络 

摘      要：为了增强能见度深度学习模型在小样本条件下的准确率和鲁棒性,提出一种基于可见光-远红外图像的多模态能见度深度学习方法.首先,利用图像配准获取视野范围与分辨率均相同的可见光-远红外输入图像对;然后,构造三分支并行结构的多模态特征融合网络;分别在可见光图像、远红外图像及其累加特征图中提取不同性质的大气特征,各分支的特征信息通过网络结构实现模态互补与融合;最后在网络末端输出图像场景所对应的能见度的等级.采用双目摄像机收集不同天气情况下的室外真实可见光-远红外图像作为实验数据,在不同性能指标、多角度下的实验结果表明,与传统单模态能见度深度学习模型相比,多模态能见度模型可显著提高小样本条件下能见度检测的准确率和鲁棒性.