基于多模态特征融合的传输线路检测模型研究

作     者：季川茗 

作者单位：浙江科技大学 

学位级别：硕士

导师姓名：叶绿;周武杰

授予年度：2024年

学科分类：0810[工学-信息与通信工程] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 081001[工学-通信与信息系统] 

主      题：智能无人机 传输线检测 目标检测 多模态 深度学习 

摘      要：随着我国《“十四五国家安全生产规划》提出要积极推广使用先进的无人机巡查监察系统,基于无人机的传输线检测技术得到快速发展。由于搭载检察系统的无人机具有节省人力成本,时间成本,更便捷等优点,为工业检测和商业应用提供了帮助。其中,在复杂环境下比如山地和铁路上方利用无人机对输电线这一类传输线的感知和识别可代替人工,保障电力稳定供给供应。随着人工智能的发展,深度学习被提出并在工业范围中取得重要应用,其中图像融合和目标检测作为深度学习中的重要视觉感知技术,可以帮助无人机高精度地完成识别传输线的任务。具体来说,图像融合可以预先将红外图和可视化图进行图片融合,为后续的识别任务提供更加优质的图像来源。而多模态目标检测技术可以在一些复杂场景比如雾霾,雨雪天,前后背景难以区分等情况下识别传输线。然而,目前的识别算法存在计算参数量大的问题,难以部署在移动设备上。因此,针对上述问题,本文首先研究多模态图像融合技术,来对可视化图和红外图进行图像融合,随后,本文对多模态融合检测技术以及知识蒸馏技术展开研究,提出单模态学生网络,以解决多模态的融合问题以及大模型难以部署在移动终端的问题。本文主要贡献如下:(1)红外图像与可见光图像融合是计算机视觉中一个长期研究的课题,它突出了辐射和细节纹理信息,完整、准确地描述了物体。然而,大多数方法通常提取编码器段中的特征并使用粗糙的融合策略。与这些算法不同,本文使用卷积残差结构作为主干网和Uniformer作为辅助主干提取编码器段中的远程信息。此外,我们提出了一种基于注意力机制的有效多尺度融合策略来整合两种模式。(2)为了构建一种适用于移动设备的有效目标检测算法,本文介绍了一种新型的双特征融合学生网络EDFNet-S*。该网络是专门为分析传输线检测(TLD)场景而设计的,采用交叉特征蒸馏。值得注意的是,该网络大大减少了模型的参数计数。此外,本文还提出了一种四输入融合模块,旨在熟练地整合上下文信息。该模块促进了浅层和深层特征的协同利用,有效解决了双模融合场景中上下文信息的监督问题。(3)目前,现有的多模态融合算法对不同模态间没有精确配准,并且不能部署在RGB图像采集的无人机终端。为了解决这些问题,本文提出了基于知识蒸馏的双向引导配准算法(BGRNet-S*)用于传输线检测。该方法在教师网络的融合模块中引双向引导配准机制,并通过知识蒸馏和对比学习联合训练将双模态教师网络的知识传递给单模态学生网络,进一步减小了模型参数并能够在单RGB图像采集的无人机终端部署。(4)为了学生网络学习到更多的不同的知识,充分发挥学生网络的潜力,我们设计了一种可以动态调整的多教师联合蒸馏的训练方法,并设计了多尺度整合模块使得学生充分学习到不同教师网络的不同纬度的信息。