基于Kinect的人体动作识别技术研究

作     者：刁俊方 

作者单位：重庆大学 

学位级别：硕士

导师姓名：李季

授予年度：2015年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：动作识别 谱聚类 动态时间规整 联合稀疏编码 Kinect骨骼跟踪 

摘      要：随着计算机视觉技术应用需求的不断提高,对人类行为理解的研究显得至关重要。而人体动作识别在计算机视觉领域,尤其是在智能监控、人机交互、虚拟现实、运动分析等方面有着广阔的应用前景。因此,人体动作识别的研究也受到越来越多的关注。同时,伴随着深度摄像头的出现,人体动作识别的研究被推向了一个新的高度。当前的很多研究都是基于预先分割的视频流进行人体动作识别的,无法进行在线的识别。在总结国内外对人体动作识别的基础上,本文利用谱聚类和DTW算法对Kinect骨骼跟踪技术捕获的人体骨骼数据进行处理,得到基于人体各个部位的运动粒度的结构化骨骼特征,然后利用联合稀疏编码算法对结构化骨骼特征进行选择和分类学习得到动作模板,最后实现了在线的人体动作识别。下面具体介绍一下本文的研究内容:第一步,在微软的MSRC-12 Kinect Gesture Dataset数据集基础上,根据人体动作表示方式将其转化为动作数据流,为后面模板字典的生成和特征提取做好准备。第二步,利用机器学习的谱聚类算法和改进的动态时间规整算法(DTW)对第一步生成的动作数据流进行学习并生成模板字典。第三步,对动作数据流中每一帧的数据进行结构化骨骼特征提取,其中提取的特征是通过计算帧末尾的最佳拟合子序列与模板字典之间的距离得到的。第四步,利用联合稀疏编码算法对特征进行选择,从而得到从结构化骨骼特征到动作标签的变换矩阵,从而得到动作模板。第五步,对在线的骨骼数据进行预处理,以排除噪声的干扰。第六步,利用第一步的方法将在线的骨骼数据转换为动作数据流,然后利用前面第三步对每一帧的数据进行特征提取。第七步,通过第四步生成的变换矩阵,将第六步生成的特征映射到动作标签,从而识别出在线的人体动作。本文主要面临的挑战有两个:(1)如何在未分割的动作数据流中识别人体动作。(2)如何确定是表现出不同风格的同一个动作,还是两个不同的动作。本文采用一种有效的结构化骨骼特征提取和动态匹配方法为每一帧骨骼数据构造一个特征向量,从而提高了每个动作类别之间的敏感度,从而解决了上面两个问题,实现了对在线人体动作的识别。本文的创新点在于:在模板字典的生成和特征提取阶段,本文采用改进的DTW算法,从而增加了有效模板的数量,提高了在线识别的效率。而且在在线识别阶段,本文对在线的骨骼数据进行预处理,把不感兴趣的和错误的骨骼数据过滤掉,有效地避免了噪声对识别的干扰。