多尺度局部特征增强Transformer道路裂缝检测模型

作     者：许正森 雷相达 管海燕 Xu Zhengsen;Lei Xiangda;Guan Haiyan

作者机构：南京信息工程大学遥感与测绘工程学院南京210044 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2023年第28卷第4期

页      面：1019-1028页

核心收录：

学科分类：083002[工学-环境工程] 0830[工学-环境科学与工程（可授工学、理学、农学学位）] 081802[工学-地球探测与信息技术] 08[工学] 0818[工学-地质资源与地质工程] 081602[工学-摄影测量与遥感] 0816[工学-测绘科学与技术] 0814[工学-土木工程] 082301[工学-道路与铁道工程] 0823[工学-交通运输工程] 

基　　金：国家自然科学基金项目(41971414) 江苏省研究生科研创新项目(KYCX21_1011) 

主　　题：道路工程 道路裂缝检测 深度学习 语义分割 自注意力 Transformer 

摘      要：目的道路裂缝是路面病害的早期征兆。定期监测路面状况、及时准确地发现路面裂缝对于交通养护机构降低成本、保证路面结构的可靠性和耐久性以及提高驾驶安全性、舒适性有重要意义。目前基于卷积神经网络的深度学习模型在长距离依赖建模方面存在不足,模型精度难以满足真实路面环境下的裂缝检测任务。一些模型通过引入空间/通道注意力机制进行长距离依赖建模,但是会导致计算量和计算复杂程度增加,无法实现实时检测。鉴于此,本文提出一种基于Transformer编码—解码结构的深度神经网络道路裂缝检测模型CTNet(crack transformer network)。方法该模型主要由Transformer注意力模块、多尺度局部特征增强模块、上采样模块和跨越连接4部分构成。采用Transformer注意力机制能更有效提取全局和长距离依赖关系,克服传统卷积神经网络表征输入信息的短距离相关缺陷。同时,为适应裂缝尺寸变化多样性,将Transformer与多尺度局部特征增强模块相结合,从而有效整合不同尺度局部信息,克服Transformer局部特征建模不足。结果通过与DeepCrack模型在不同裂缝检测数据集中的比较表明,本文提出的多尺度局部特征增强Transformer网络能快速、准确地分割路面裂缝,且效率更优。定量研究结果表明,CTNet在更有挑战性的CrackLS315数据集中的精度、召回率和F1值达到91.38%、80.38%和85.53%,明显优于对比方法。在CrackWH100数据集中,精度、召回率和F1值进一步提升,分别达到92.70%、90.52%和91.60%。此外,CTNet的训练速率提升至DeepCrack模型的6.78倍。结论CTNet可以实现强噪声背景下的道路裂缝检测,检测效果优于目前最优方法,且参数量小,易于训练和部署。