轻量级人体姿态估计的研究与应用
作者单位:电子科技大学
学位级别:硕士
导师姓名:侯晓荣
授予年度:2023年
学科分类:08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程]
摘 要:人体姿态估计,又名关键点检测,其目标是在输入的人体图像中准确定位出人体关节,从而构建人体的骨骼表示。近年来,人体姿态估计领域发展迅速,但许多方法在追求更高精度的同时忽略了模型在部署落地时的需求。在一些特定的应用场景下,由于计算资源和存储资源有限,要求模型在保持较高推理精度的前提下足够的轻量化。另外,在一些实际的应用场景中,对手腕、脚踝等关键点的精度要求较高,但在已有的人体姿态估计模型中,这些肢体关键点的预测精度远低于头部等关键点(本文称这些人体关键点为难推理关键点)。基于目前人体姿态估计发展现状,面向在移动端落地的需求,本文从以下两个思路展开研究。一是保持模型的精度较高的前提下提高模型的运行效率;二是在保证模型足够轻量化的基础上,提升难推理关键点的预测精度。最后,设计开发了一个能够在移动端实时计算处理的用于运动计数的人体姿态估计系统。具体来说,本文的主要工作如下:1.设计了一个轻量级的人体姿态估计网络模型。首先基于深度可分离卷积和注意力机制设计了一个轻量级模块,然后以此为基础模块设计网络结构,提出了简单有效的轻量级特征融合模型(Lightweight Feature Fusion Network,LFFNet)。LFFNet的参数量仅为3.1M,是与其精度相当的主流模型的1/11。LFFNet在保持较高精度的前提下,实现较低的参数量,提高运行效率,更加适合在移动端部署落地。2.针对现有的人体姿态估计模型中存在难推理关键点预测精度低的问题,提出了一种基于动态权重的损失计算方法(Dynamic Focus Loss,DF-Loss)。该方法可以在不额外增加模型的参数量和浮点运算量的前提下,有效的关注到难推理关键点的特征信息,提升其预测精度。本文在多种主流的模型以及轻量化的模型上进行了实验,证明该方法可以有效的提高难推理关键点的精度以及模型的整体精度。3.本文设计开发了一个基于视频流的用于实时运动计数的人体姿态估计系统。使用轻量级人体姿态估计模型LFFNet为底层模型结合DF-Loss方法进行关键点检测,然后基于检测到的关键点的相对位置进行推理计算,输出运动动作是否标准以及动作个数。本系统在移动端的视频处理速度可达12fps,能够部署落地在移动设备实时运行,在保持较低的计算开销的基础上,达到较高的识别精度。