基于YOLO的多模态钢轨表面缺陷检测方法

作     者：孙铁强 魏光辉 宋超 肖鹏程 

作者机构：华北理工大学人工智能学院 华北理工大学河北工业智能感知重点实验室 

出 版 物：《电子测量技术》 (Electronic Measurement Technology)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0814[工学-土木工程] 0811[工学-控制科学与工程] 082301[工学-道路与铁道工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 0823[工学-交通运输工程] 

基　　金：河北省“三三三人才工程”资助项目(A202102002) 河北省创新能力提升计划(23561007D) 2023年唐山市重点研发项目(23140204A) 

主　　题：YOLOv8n 缺陷检测 多模态 RGB-D 特征融合 深度学习 

摘      要：针对钢轨表面缺陷区域与背景区域特征相似特性导致的模型检测性能下降问题，本文研究高实时性轻量级目标检测网络YOLOv8n，提出一种基于YOLO的多模态钢轨表面缺陷检测算法RailBiModal-YOLO。改进YOLOv8n模型：构建双流主干网络结构并行提取多尺度深度信息和RGB信息；为降低低质量图像特征相互干扰并能充分利用双模态互补信息，设计了一种即插即用的双模态特征交互修正融合模块；在多尺度特征构建阶段引入EVCBlock，增强RGB-D特征层的层内信息交互，提高小缺陷检测能力。以东北大学NEU-RSDDS-AUG作为实验数据集，将数据集自定义划分为四种典型缺陷类型，以平均精度均值mAP、每秒检测帧数FPS、参数量作为主要评价指标，实验结果表明：所提模型与原模型相比，在保证高检测速度的同时，mAP@50，mAP@50:95分别提高1.8%和3.2%，并具有更强鲁棒性。