基于人体骨架的工作流程识别系统研究

作     者：梁健 

作者单位：中国矿业大学 

学位级别：硕士

导师姓名：李海港

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：工作流程 骨架识别 时空图卷积 模型压缩 目标检测 

摘      要：工业4.0时代的到来,智能制造模式逐渐深入人心,在这其中,视频监控扮演着举足轻重的角色。目前,绝大多数的生产厂家都在产品生产流水线上布置监控系统以实现日后对产品生产过程的追溯。然而,当前追溯工作主要由人工完成,不仅效率低,还需要投入大量的人力工作,费时费力。监控设备的资源利用率低。针对上述问题,本文以某显示器生产厂家为背景,将机器视觉技术引入其中,提出一种基于人体骨架的工作流程识别系统,主要研究内容如下:首先,对显示器厂家的面板装配车间进行需求分析,基于此完成以下两个方面的工作:工作流程识别系统涉及到的硬件资源选型,构建硬件基础;分析不同行为识别算法的优劣,针对面板装配车间内人员走动、动作幅度小等问题,将基于骨架的行为识别方法作为工作流程识别系统的算法方案。其次,针对面板装配车间内,背景复杂、人员走动形成干扰信息等问题,基于YOLOv3-Tiny目标检测模型,设计出工作流程识别系统中的快速人体检测模型,并对该模型中的输出头进行改进;针对装配人员下半身关键点被遮挡、手部关键点特征缺失等问题,基于Hrnet关键点检测模型,重新定义骨骼关键点的数目以及类别,设计出工作流程识别系统的骨架检测模型,并在人体骨骼关键点坐标计算方式以及骨骼关键点的权重占比两个方面进行改进。接着,利用传统机器学习方法对骨架识别网络输出的骨骼关键点在时间、空间维度上进行特征提取、分析,实现对工厂行为的分类。针对传统机器学习方法鲁棒性弱、对细腻动作容易误检等问题,基于时空图积神经网络,将工作流程识别任务转换为对连续帧骨骼关键点空间位置信息的分类工作。实验结果表明,时空图卷积神经网络能够更好地完成基于骨架的行为识别任务。随后,针对工作流程识别模型参数量大、推理速度慢、难以部署等问题,基于Tensor Rt推理引擎完成工作流程识别模型的压缩优化。最终,模型的整体参数量减少67.1%,推理速度提高189%,在Nvidia Xavier上推理速率为16Fps,达到基本部署需求。最后,基于Py Qt5开发工作流程识别系统界面控制管理系统,实现对工作流程识别系统的可视化操作以及高效管理。该论文共有图55幅,表14个,参考文献66篇。