基于双模态融合的线缆图像语义分割方法研究

作     者：曹国群 刘桂雄 Cao Guoqun;Liu Guixiong

作者机构：华南理工大学机械与汽车工程学院广州510640 

出 版 物：《电子测量技术》 (Electronic Measurement Technology)

年 卷 期：2023年第46卷第10期

页      面：184-188页

学科分类：08[工学] 0804[工学-仪器科学与技术] 

基　　金：广东省重点领域研发计划项目(2019B010154003)资助。 

主　　题：语义分割 双模态融合 深度学习 线缆 

摘      要：线缆敷设时需要严格控制最小弯曲半径,线缆敷设图像准确分割是控制弯曲半径的基础,传统视觉方法、经典语义分割方法对复杂环境下线缆细长特征目标分割效果不佳。本文提出一种基于改进双模态融合语义分割网络ESANet的线缆语义分割方法,使用高效的SAGate代替ESANet中RGB-D Fusion模块完成双模态特征校正与融合任务,融合特征分别同时参与后续两种模态的特征提取,实现细长特征线缆掩膜的准确分割。通过采集不同姿态的线缆RGB及对应深度图像进行实验,结果表明本文改进的ESANet网络对线缆等细长特征目标有较好好分割效果,较ESANet模型分割精度(mIoU)提升了3.99%,较RGB单模态语义分割网络SwiftNet精度提升7.68%,该方法可以推广到其它具有细长特征的目标分割任务中。