基于骨骼关键点的电力作业人员违章行为识别方法研究

作     者：张梓豪 

作者单位：东北电力大学 

学位级别：硕士

导师姓名：奚洋

授予年度：2024年

学科分类：080805[工学-电工理论与新技术] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0808[工学-电气工程] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：电力作业违章 行为识别 弱光图像增强 关键点检测 深度学习 

摘      要：电力作业涉及高压、强电,操作不当或监管不严易引发严重事故。目前,电力作业违章管控侧重于安全帽和安全带等个人防护用品的检测,但对于作业现场接吸烟、翻越围栏等违章行为的检测仍显不足。本文基于电力作业现场视频监控数据,通过提取时序连贯的人体骨骼关键点作为行为特征,进行了符合实际电力作业现场环境的作业人员违章行为识别方法研究,主要研究内容如下: (1)当阴天或夜晚光线不足时,室外电力作业的图像呈现出弱光状态,骨骼关键点的识别精度降低。更为复杂的是,有时由于光源分布不均,弱光中还会夹杂着局部强光,这种复杂的光线条件进一步加剧了行为识别的难度。针对该问题,本文提出了一种考虑强光抑制的电力作业现场弱光图像增强方法,首先通过滑动窗口搜索强光强,然后利用光效分解网络剔除光效层,合成背景层,最后输入基于核选择模块的Zero-DCE弱光增强网络,提高图像质量。实验表明,该方法有效提升了弱光环境下电力作业现场的图像质量,为骨骼关键点提取奠定了良好的图像基础。 (2)复杂的人体骨骼关键点检测网络伴随着庞大的参数量和计算量,影响电力作业违章行为识别的效率。针对该问题,本文提出了一种基于通道空间加权的轻量级人体骨骼关键点检测网络Lite CSW-HRNet,该网络的条件通道加权模块分别沿通道和空间维度独立并行计算权重图,使用最大池化和平均池化充分保留原有特征;在通道权重计算中引入自适应一维卷积来聚合相邻通道间的信息,避免了通道降维的不利影响;在空间权重计算中,使用7×7卷积来增加感受野以聚合更广的空间上下文信息。实验表明,该网络的性能优于其他轻量级人体骨骼关键点检测网络。 (3)传统图卷积忽略了手和脚的关联性,影响攀爬设备和翻越围栏违章行为的识别;固定感受野的时间卷积在识别打电话和吸烟等相似行为时准确率低。针对以上问题,本文提出了一种基于双流结构的增强时空图卷积电力作业人员违章行为识别方法。首先以安全帽和安全带为特征使用YOLOv5对人员进行检测,确定是否为电力作业人员;然后设计了一种增强时空图卷积特征提取网络,其中空间上的自适应图卷积,加强了非直接相连关节的关联性;时序上的基于通道注意力机制的多尺度时间卷积,充分提取了行为的全过程特征;最后用关节流和骨骼流构建了双流结构的行为识别模型。实验表明,该方法能识别电力作业人员攀爬设备、翻越围栏、吸烟、踩踏设备、打电话的违章行为,识别精度达到94.1%。