基于时空图卷积网络的运动行为识别研究

作     者：范惊涛 

作者单位：哈尔滨商业大学 

学位级别：硕士

导师姓名：徐耀群

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人体姿态识别 ST-GCN 目标检测 

摘      要：运动行为识别的本质是人体姿态识别,作为计算机视觉中的一个重要研究方向,已被广泛应用于智能监控、医疗医学及人机交互等多个领域。基于图卷积神经网络的研究算法由于在姿态识别性能上的优势,成为近年来的研究热点,并获得显著成果。但仍存在以下问题:检测目标丢失、邻近目标交互遮挡、目标运动所导致形态发生变化及目标大幅度动作带来的检测结果不精确等,对人体姿态识别算法的准确性和鲁棒性带来巨大的挑战。本文将人体姿态识别分为人体姿态估计和骨骼动作识别两个部分,对当前人体姿态估计及骨骼动作识别算法的不足进行研究与分析,主要的研究工作如下:1.考虑到人体姿态估计任务中目标丢失、目标遗漏和目标定位不精确的问题,本文将人体姿态估计任务分成目标检测和骨骼点生成两个阶段:在目标检测阶段提出了一种改进的YOLOv4的目标检测算法。针对K-means聚类算法过于依赖初始聚类点的问题,采用K-means++算法对数据集聚类重构先验框,并将先验框扩展到12个,提高定位的精度与目标检测准确率;针对小目标漏检率较高的问题,对YOLOv4特征融合结构进行修改,在原有基础上新增一个检测尺度,提取浅层信息。在骨骼点生成阶段提出一种改进的Lite-HRNet骨骼点生成算法,加快骨骼点生成速度。实验证明,改进后的人体姿态估计算法提高了检测速度,并有效降低了目标丢失的概率,对于目标交互遮挡的情况也有较好的效果。2.考虑到骨骼动作识别任务中识别效果差和识别结果单一的问题,本文提出了一种基于时空图卷积的骨骼动作识别算法:针对动作识别效果不理想的问题,引入图注意力机制,实现更好的邻居聚合,同时构建新的分区策略,并对肢体给予不同的权重,增强模型的识别能力。针对识别结果单一的问题,采用目标检测算法对人体背景进行特征提取,丰富输入图像的语义信息。实验结果表明,本文算法在公开的数据集上有较好性能,且在实际动作识别上有更强的识别能力。