基于深度学习的人体动作识别研究

作     者：王利伟 

作者单位：天津大学 

学位级别：硕士

导师姓名：侯永宏

授予年度：2018年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：动作识别 卷积神经网络 骨骼序列 时间金字塔骨骼运动图 

摘      要：人体动作识别是从视频中检测并识别人体的动作,使得计算机系统能理解人的行为,被广泛应用在人机交互、视频监控、机器人技术、游戏控制、运动视频分析等诸多领域,是计算机视觉和模式识别领域的热点研究问题之一。早期的研究从RGB数据中识别动作,这涉及到复杂的光照条件和混乱的背景,在实际应用中受到较大的限制。骨骼数据是一种包含人体关节位置的较高层次的运动特征,它对尺度和光照的变化具有较强的鲁棒性,并且对摄像机的视角、人体的旋转和运动速度的变化都具有一定的不变性,基于骨骼数据的动作识别受到了广泛的关注。卷积神经网络在计算机视觉等众多领域中取得了优异的性能,尤其在图片分类方面。将卷积神经网络用于人体动作识别,是目前动作识别领域的一个重要研究方向。然而如何有效地提取骨骼序列中的时间和空间信息,并将骨骼序列编码为一张图片,是利用卷积神经网络对骨骼序列进行识别的关键。本文提出了一个适用于人体骨骼序列的动作识别方案,将人体骨骼序列编码成时间金字塔骨骼运动图,并将其送入卷积神经网络进行特征提取和分类。首先将人体骨骼序列的每一帧分别投影到三个正交平面上,生成人体骨骼序列分布图,用来获取空间信息;其次使用时间金字塔方法对骨骼序列分布图进行分割,生成分段的骨骼序列分布图,再通过积累分段的骨骼序列分布图的能量,生成分段的骨骼运动图,用来获取运动的时间信息;再次对分段的骨骼运动图分别进行伪彩色编码,获得更多的彩色纹理信息;然后使用加法更新策略,生成时间金字塔骨骼运动图。最后充分利用卷积神经网络提取深层次信息的特点,使用卷积神经网络提取时间金字塔骨骼运动图的特征并进行最终的分类。本文提出的方法在三个国际公认的动作识别数据集中进行测试。在SYSU-12数据集上,获得了83.74%的识别准确率;在MSR-12数据集上,获得了97.675%的识别准确率;在UTD-MHAD数据集上,获得了92.56%的识别精度。该实验结果相比已有的动作识别算法,取得了较好的实验结果。