基于多尺度学习与注意力机制的人体行为识别研究

作     者：魏鹏鹏 

作者单位：南昌大学 

学位级别：硕士

导师姓名：熊蕾;杨威

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：深度学习 人体行为识别 数据增强 多尺度学习 注意力机制 

摘      要：随着计算机硬件设备和人工智能技术的迅猛发展,人体行为识别得到大量科研人员的关注和重视。不仅在理论层面不断革新,而且在智能监控、人机交互、医疗康复、安全养老和体育运动中得到了广泛应用。早期基于手工特征的人体行为识别应用往往需要人为设计特征和判定规则。不仅耗费大量时间和精力,而且识别准确率受到了一定的限制。近年来,深度学习技术在人体行为识别领域被广泛应用,深度神经网络避免了手工特征设计和量化的繁琐,取得了更好的识别效果。然而,深度学习方法在样本尺度归一化、小样本学习、多尺度学习以及对提取出的特征进一步处理方面还存在较大改进空间。首先,每个行为的持续时间不同,无法作为同一批数据送入模型中进行训练和测试;其次,由于样本采集、标定成本高昂,单个数据集样本数量不够,无法满足模型的训练需求,易导致过拟合现象的出现;最后,即使模型提取到大量特征,可是特征与特征之间亦有差别,并不是所有特征都与当前任务强相关,因此需要对特征添加权重系数加以区分,保证模型将有限的注意力和算力集中在权重系数较大的部分特征上。针对上述问题,主要开展并完成了以下研究工作:针对训练样本不足,深度神经网络无法充分训练,容易出现过拟合问题,提出基于人体骨架的数据增强策略。虽然每一个行为执行人的样貌体型各有差异,但是内在的人体骨架却保持大致相同。因此,根据行为执行人的骨架,实行镜像和缩放操作,生成全新的行为样本并由三维矩阵量化表示。经在数据集Florence-3D和UT-3D上进行实验分析,较好地解决了模型过拟合问题,大大提高了人体行为识别准确率。针对数据集中的人体行为样本在时间维度不统一,无法批量训练问题,提出一种能极大程度保留运动信息的尺度归一化策略。首先,根据数据集样本的持续时间范围,在其中位数或附近设定归一化尺度。其次,通过线性插值拟合和均匀丢弃策略,所有样本完成尺度归一化操作的同时,并在最大程度保留动作的原始信息。针对动作样本中含有丰富的运动信息,深度学习模型在提取特征后却难以对这些特征信息完成进一步区分处理问题。首先,基于空间金字塔池化层和全局平均池化层的组合,使得模型具有在不同尺度样本上进行特征学习的能力。再通过嵌入注意力模块自适应地调整通道和空间的重要性,来提高模型的特征表示能力。使得深度模型可以有选择地将有限的注意力放在对人体行为识别任务作用更大的特征上,并抑制对非重要特征的过度关注,从而提高模型对于不同人体姿势和动作的识别准确率。