基于单目三维姿态估计的健身运动分析系统研究与实现

作     者：刘紫琴 

作者单位：佛山科学技术学院 

学位级别：硕士

导师姓名：周燕

授予年度：2021年

学科分类：0403[教育学-体育学] 04[教育学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：深度学习 运动分析 人体姿态估计 单目深度估计 沙漏堆叠网络 

摘      要：随着社会生活质量的提高,人们对运动健身的关注日渐增长。对人体运动进行智能分析可提高健身训练的科学性,及时纠正运动中不规范的动作,为运动员辅助训练提供有效的工具。现有的运动分析系统大多需要在身体重要部位佩戴硬件设备或使用多个摄像头来采集人体运动信息,这对运动员的健身活动带来了不便,且成本较高。针对这些难题,本文提出了一种基于深度估计的单目三维人体姿态估计算法和一种基于人体姿态估计的健身运动分析方法,设计并研发了一套基于三维人体骨架的健身运动分析应用系统,实验数据表明本系统在精度与运行时间等方面都取得较好的效果。本文具体的研究内容如下:(1)提出了一种基于深度估计的单目三维人体姿态估计算法。该算法采用自底向上的策略,构建轻量级的多分支沙漏堆叠网络以预测根节点深度图、关节点热度图、关节部位关联图以及部位相对深度图。结合关节点热度图与关节部位关联图对检测到的二维关节点进行最优分组并连接,再融合根节点深度图和部位相对深度图重建人体的三维空间姿态。实验数据表明,该算法具有较高的精确度,可有效避免遮挡关节点间的关联错误。(2)提出了一种基于人体姿态估计的健身运动分析方法。首先,构建包含15个关节点的人体骨架模型,采用骨架根节点对齐人体,并对骨架模型进行缩放预处理;其次,利用优化的动态时间规整算法减少健身视频时间序列的差异;最后,结合关节点位置信息与相邻肢体角度信息,采用以余弦相似度为主,欧氏距离为辅的方式来分析姿态相似度。实验数据表明,该方法可高度描述人体运动特征,捕捉人体关节点间的空间联系,判断健身动作是否规范。(3)构建了一套基于三维人体骨架的健身运动分析应用系统。本系统根据教练员的健身模板视频与用户的跟练视频对比,能高效地返回用户健身报告结果,用于精准指导用户健身锻炼,并支持跟练视频回放与健身报告历史记录查询等功能。该系统可大大节省人力与器材成本,帮助用户有效进行自主健身训练。最终实验结果表明,本系统具有良好的性能,其中单目三维人体姿态估计算法在标准三维姿态数据集MuPoTS-3D上,单人关节点平均检测精度高达80%以上,且运行时间受人数增加的影响较小,通过GPU等硬件环境加速,平均估计时间不超过70毫秒,可基本实现实时的健身运动分析。本健身运动分析系统可推广至家庭健身与体育课堂等场景,为健身运动员提供良好的辅助训练平台。