基于深度学习的人员不安全行为识别研究

作     者：朱国庆 

作者单位：大连海事大学 

学位级别：硕士

导师姓名：胡英

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：不安全行为识别 三维卷积网络 目标检测 注意力机制 多标签分类 

摘      要：作为计算视觉领域的一个重要研究方向,人员行为识别在智能监控、智慧工厂和安防等领域均有重要的应用价值。在工业场景下,现场人员由于不安全行为或违规状态引发的安全事故时有发生,将人员行为识别技术应用到工业现场成为了研究的热点。近年来随着深度学习的不断发展,产生了许多基于深度学习的行为识别相关算法,这些算法通过神经网络自主提取特征,与传统算法相比具有更好的泛化能力,但是在工程应用时也存在着一些不足之处。本文针对现有行为识别算法在应用时存在的不足,并根据工业现场对于人员安全的具体需求,提出了一种基于深度学习的工业现场人员不安全行为识别与违规状态检测算法,并在工程应用中取得了较好的效果。本文主要完成的工作如下:(1)针对传统三维卷积神经网络只能对单一的目标进行识别,不能分析视频中多目标人员行为的问题,本文在行为识别网络前端引入了目标检测网络。首先对视频场景下多个人员进行目标检测,再将这些目标分别送入行为识别网络中进行行为分析。由于在应用中发现目标检测网络存在人员目标框漏检的情况,因此在目标检测网络后又加入了目标跟踪网络,将漏检的人员目标框补全,使视频相邻帧之间的特征更加具有关联性。(2)针对传统三维卷积网络的参数量大导致模型不适合应用于工业现场,以及模型的特征表达能力不高问题,本文选用网络参数较少,且特征提取能力更强的I3D网络对视频中人员的行为特征进行提取。(3)为了提升三维卷积网络对人员相似行为的识别效果,本文在行为识别网络前引入长短时记忆网络对视频的连续帧图像进行时序建模,提高行为识别网络对时间流特征提取能力,并在行为识别网络中引入了空间域注意力机制和通道域注意力机制模块来提高网络的特征表达能力。(4)针对行为识别网络不适用于识别工业现场人员存在静态违规状态的问题,本文引入了以轻量化网络模型作为特征提取网络的多标签分类网络,以实现对视频中人员的安全状态进行检测。上述研究成果在公开数据集和工业场景下的数据集上进行测试,最终取得了91.5%的准确率。在此基础之上编写了完整的应用程序并在多个工业现场进行了成功应用,证明了本文算法的有效性。