基于改进YOLOv5s的煤矿机电设备维修指导系统

作     者：徐俊 赵小虎 候念琦 王杰 刘昱麟 XU Jun;ZHAO Xiaohu;HOU Nianqi;WANG Jie;LIU Yulin

作者机构：徐州工程学院信息化中心江苏徐州221000 中国矿业大学矿山互联网应用技术国家地方联合工程实验室江苏徐州221008 中国矿业大学信息与控制工程学院江苏徐州221008 

出 版 物：《工矿自动化》 (Journal Of Mine Automation)

年 卷 期：2024年第50卷第5期

页      面：151-156页

学科分类：081901[工学-采矿工程] 0819[工学-矿业工程] 08[工学] 

基　　金：山东省自然科学基金项目(ZR2021MF026) 

主　　题：煤矿机电设备 辅助维修 免注册识别 YOLOv5s 混合现实 HoloLens 

摘      要：针对煤矿机电设备辅助维修中二维码标注工作量大、通用性低及现有免注册识别方法实现复杂、难以部署等问题,提出了一种基于改进YOLOv5s的煤矿机电设备维修指导系统。该系统由设备免注册识别模块、故障维修指导模块、远程专家接入指导模块组成。设备免注册识别模块通过HoloLens眼镜上的摄像头采集故障设备图像,并通过改进YOLOv5s图像识别算法进行分析和处理,识别出故障设备型号;故障维修指导模块根据故障设备型号自动匹配调用预设好的混合现实拆装模型,形成维修指导解决方案;远程专家接入指导模块通过音视频会话、虚拟标注等方式实现远程专家与现场维修人员的交互。为保证用户使用混合现实设备时的沉浸感体验,针对混合现实设备自身算力不足问题,采用ShuffleNetV2替换YOLOv5s中的Backbone,得到YOLOv5s−SN2网络,从而减少模型参数量,降低计算开销。实验结果表明:YOLOv5s−SN2相较于YOLOv5s精度略有下降,但每秒浮点运算次数(FLOPS)从16.5×10^(9)下降到7.6×10^(9),参数量从15.6×10^(6)个下降到8.2×10^(6)个;在YOLO系列模型中,YOLOv5s−SN2性能最优。以三叶罗茨鼓风机为例验证系统整体效果,结果表明,YOLOv5s−SN2可快速识别出电动机型号,调用与之匹配的虚拟模型及维修流程,远程专家可通过音视频接入和标注等方法辅助现场工作人员进行机电设备维修。