基于深度学习的行人姿态识别与行为预判算法研究

作     者：关韬 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：宋彬

授予年度：2018年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：姿态识别 行为预判 亲和域 残差网络 全卷积网络 多层感知器 

摘      要：行人姿态识别及动作判别属于创新性的机器视觉任务,成为众多领域的热门研究对象,其意味着从图像目标检测范畴向图像理解范畴进行了过渡,是一个具有挑战性的课题。同时行人姿态识别及动作判别在智能视频监控、智能交通、人机交互、运动分析等多个领域有着良好的发展前景。传统的人体行为识别多数是首先通过背景差法来获取行人掩码,然后通过模板匹配法或传统机器学习进行分类任务,背景差法容易受到环境改变引起的不适用,掩码会造成信息的浪费,传统机器学习算法性能在图像分类上存在提升的空间。近年来,由于深度学习的快速发展,智能监控已经可以完成行人检测、统计等,但仍无法做到更为细节的的姿态识别任务以及行为判别任务。虽然已经有深度学习算法可以做行人姿态识别,但是仍停留在对图像中单人做理论研究的层面,面对复杂的监控场景仍无法进行实际应用;而动作判别往往基于单一特征进行学习判断,如果特征选择过多的话会增加计算量,而选择过少则造成准确度下降,因此在实际应用中也有很多困难。为解决上述问题,本论文重点研究基于亲和域的多人姿态识别算法,以及基于全局特征和局部特征联合学习的行为判别算法。针对行人姿态识别研究,本论文主要研究内容包括:1)提出一种预测人体姿态关节点热度图分布的方法,将样本图像送入VGG特征提取网络获取特征,经过多分支、多阶段任务获取到包括左右眼睛、左右耳朵、鼻子、脖子、左右肩膀、左右肘、左右腕、左右胯、左右膝、左右踝,共18个关节点的概率热度图;2)提出一种基于亲和域的方法用于解决图像中的多人情况,将样本图像送入与预测热度图共享的特征提取网络,经过多分支、多阶段任务获取左眼到左耳、左眼到鼻子等19组相连关节点的亲和域;3)将获取到的姿态关节点热度图和相连关节点的亲和域,利用图论相关算法进行关联,有效地解决多人姿态识别问题。针对行人动作判别研究,本论文主要研究内容包括:1)提出一种基于改进的姿态识别新型网络,包括姿态识别和掩码预测功能;2)利用该新型网络包含的全卷积网络分支检测出图像中行人的掩码,将其切割作为输入样本送入残差网络后得到输出向量;3)利用该新型网络包含的姿态识别分支预测人体18个关节点,然后以脖子为原点归一化坐标,形成18维特征向量,送入多层感知机得到输出向量;4)将前两步输出的特征向量相加,使用交叉熵代价函数联合学习和预测分类。最后,实验结果表明,本论文提出的基于深度学习的行人姿态识别和动作判别算法均有良好的性能,可广泛应用于视频监控等实际场景中。