人体行为识别算法研究及系统实现

作     者：高鑫 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：刘龙;保谦

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人体行为识别 图卷积网络(GCN) 双支路 骨骼 

摘      要：人体行为识别是计算机视觉领域的一个重要研究方向,其目的是通过分析人体姿态或动作的特征,实现对人体行为的自动识别和理解。深度学习作为一种强大的机器学习技术,在人体行为识别领域也已经取得了很多的成果。深度学习方法可以自动地学习抽取特征,并能够处理复杂的非线性问题,逐渐成为了人体行为识别领域的主流技术。虽然现有的图卷积神经网络(GCN)方法在建模人体行为识别方面有着不错的表现,但其并未考虑到人在同一动作执行过程中,每个骨骼部位在每帧运动中有着不同程度的位移,不同的骨骼部位在动作执行过程中参与的重要程度也不同的问题。因此,针对以上问题,本文设计快慢双支路的时空图卷积神经网络(SFST-GCN),使其关注骨骼数据的细节信息和整体信息,并加入随网络训练具有自学习能力的边的权重矩阵,以及选取不同数量的时空图卷积块(ST-GCNs),并设置快慢两支路之间的特征融合对现有的人体行为识别算法进行改进,并在此基础上设计一款人体行为识别软件系统,对视频中人的动作进行行为分类识别的功能。本文主要的研究内容如下:(1)现有的基于骨骼数据的人体行为识别算法并未探究骨骼在同一动作执行过程中,不同骨骼部位的运动位移快慢不同,并且不同的骨骼部位对动作执行中的重要程度也不同。针对这一问题,本文设计快慢双支路时空图卷积神经网络,并加入随网络训练具有自学习能力的边的权重矩阵,用于建模时序上变化快慢不同的骨骼部位,并使网络更加关注执行动作过程中重要程度更高的骨骼部位。同时对于网络中ST-GCN块步长变大后,采用两支路之间特征融合,解决特征丢失严重的情况。经过实验验证,本文提出的快慢双支路时空图卷积神经网络,在NTU-RGB+D 60数据集上跨视角(X-View)的Top-1识别精度可达到89.69%,跨对象(X-Sub)的Top-1识别精度可达到82.63%。(2)本文设计并实现人体行为识别软件系统。一种是调用人体姿态估计算法API获取离线视频图像中人的2D坐标,并按照统一的格式转换数据,使其符合行为识别模型的数据格式,通过行为识别网络对当前人的动作进行分类识别的任务;另一种是采用3D人体姿态估计算法,获取实时图像中人的3D坐标,并将特定帧数的骨骼坐标数据存放在容器中,通过数据格式转换,输入到研究内容(1)训练好的SF ST-GCN行为识别模型中进行动作分类,输出分类结果后,将数据容器置空,继续循环此操作,完成接近实时处理的人体行为识别任务。这一部分内容设计软件及UI界面,实现多种功能,完成从视频到行为识别分类的全部流程。相比其他相关的行为识别算法,本文提出的快慢双支路时空图卷积网络在NTU-RGB+D 60数据集上的识别准确率有着一定程度的提高。