基于运动-时间感知的人体动作识别方法

作     者：王晓路 汶建荣 

作者机构：西安科技大学通信与信息工程学院 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：“西安市科技计划项目”(2020KJRC0070) 

主　　题：深度学习 动作识别 运动感知 时间注意力 3D残差网络 

摘      要：针对动作视频中存在冗余信息及动作信息的特征通道分布稀疏问题，提出了一种基于运动-时间感知的3D残差网络。运动感知模块(Action- Perception Module，AM)计算特征级别的时间差来激励运动敏感通道以此获取运动特征；时间注意力模块(Temporal-Attention Module，TM)沿着时间维度计算注意力权重矩阵获取局部时间特征。将AM模块和TM模块计算结果相加，得到动作信息的融合特征，再加入到3D残差网络中，以此构造基于运动-时间感知模块(Action-Time-Perception Module，ATM)的3D残差网络。实验结果表明，在公共数据集UCF101和HMDB51上，基于ATM模块的3DResNeXt-101网络相对于3DResNeXt-101网络的动作识别的准确率分别提升了1.6%和2.8%，说明本文所提出的方法是可行、有效的。