基于人体骨骼关键点的行为识别研究与实现

作     者：赵自强 

作者单位：重庆邮电大学 

学位级别：硕士

导师姓名：李勇

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：计算机视觉 人体行为识别 骨骼关键点 OpenPose 双流网络 

摘      要：近年来,随着人体行为识别技术火热发展,吸引了越来越多科研工作者的广泛关注。目前基于视频的行为识别方法中,传统双流法的识别准确率较好,且最具代表性。但是传统双流法依然存在不足,该算法中时间流网络的输入是光流图,而光流图的计算需要消耗大量的时间,无法保证检测的实时性。虽然基于骨架数据集的行为识别具有不受光照强度、背景混入等因素的干扰,鲁棒性较好等优点。但是在现实环境下人体的行为复杂多样,不同的行为之间可能存在很多相似的动作,如果过度关注骨架信息,而忽略视频中的其他信息,计算机可能会有误判的情况发生,从而降低识别准确率。因此,本文针对以上问题,提出了一种融合图像信息和骨架信息的行为识别方法,该方法在保留其骨架数据集优点的同时,并结合视频的图像信息,使识别准确率得到进一步提升。本文的研究内容主要如下:1.本文通过对OpenPose姿态提取算法的深入研究,对OpenPose算法进行了改进。原OpenPose算法的特征提取网络为VGG-19,该特征提取网络的层数较深,参数量大,对于计算能力有限的硬件设备无法保证检测的实时性,所以本文采用轻量级Mobile Net-V3对其进行替换,使其能够在保证精确度稳定的前提下提高帧率。通过实验对比发现,改进后的OpenPose算法相比于原始算法检测速度大概提升了20 FPS,基本达到了普通客户端的使用需求。2.由于骨架数据集中不仅蕴含空间信息,而且还蕴含丰富时序信息,因此搭建了一支既可以获取骨架数据集空间信息又可以获取骨架数据集时序信息的骨架流网络,该骨架流网络使用Goog Le Net的Inception网络来提取时间信息,LSTM网络来提取时序信息,并将这两部分信息进行特征融合得到一个初步的行为分类结果。3.本文又对基于视频图像的行为识别方法进行了研究,针对传统的卷积神经网络通常只选取视频中某一帧图像来进行提取特征,获取的信息不够丰富的缺点。因此本文借鉴时间分段网络的稀疏时间采样策略,并在此基础上对时间分段网络进行改进,裁剪去时间流网络分支,并将空间流的特征提取网络替换成网络层数更深的Res Net-50网络,使其能够获取到更加丰富的图像信息。最后将骨架流和图像流网络分别得到的信息进行特征融合,构造出一个新双流网络模型。通过实验证明了本文提出融合骨架流和图像流的行为识别算法的可行性和有效性。