视频中细微动作识别方法的研究

作     者：李浩文 

作者单位：沈阳航空航天大学 

学位级别：硕士

导师姓名：石祥滨

授予年度：2019年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：细微动作识别 人体姿态 图卷积网络 通道加权 

摘      要：近年来,细微动作识别成为计算机视觉领域的研究热点,在人机交互、监控安防、智能机器人等领域有广泛的应用价值。细微动作主要发生在室内,动作的变化多集中在末端肢体、动作幅度小,人与物体交互复杂。通过人体姿态可以确定手、头等重要人体部位的位置,能反映出肢体的细微变化。因此,本文基于人体姿态对细微动作进行识别。主要工作如下:提出一种基于关节点置信度的姿态平滑算法,解决姿态数据的噪声问题。首先将视频中同一人的姿态划分成序列,然后以关节点置信度作为权重对姿态序列中的关节点进行平滑,抑制姿态关节点轨迹中的噪声点。提出基于图结构的关节点特征和肢体特征,增强模型对细微动作的表达能力。将物体泛化为节点与人体姿态结合,在物体节点和手节点之间建立虚连接,构建人-物交互的关节点图结构特征。肢体可以传递更明显的空间变化信息,本文从姿态数据中提取肢体方向信息构造肢体图结构特征。提出以图卷积网络为基础的双流网络进行细微动作识别。两个网络流分别对关节点特征和肢体特征建模,从不同角度表达动作。在图卷积网络中引入特征通道加权机制,突出姿态数据中的细粒度信息。最终在输出层融合两个网络分支的分类值,得到更准确的识别结果。在Kinetics数据集和MINTA数据集中的实验表明,对姿态数据平滑后姿态数据噪声减少;基于关节点图结构的人-物交互特征可以提升细微动作辨识度;特征通道加权机制能够提升模型性能;双流网络对细微动作的识别得到了较好的效果。