基于骨架的双模注意力时空图卷积网络人体动作识别方法

作     者：石祥滨 刘宏哲 SHI Xiang-bin;LIU Hong-zhe

作者机构：沈阳航空航天大学计算机学院沈阳110136 

出 版 物：《沈阳航空航天大学学报》 (Journal of Shenyang Aerospace University)

年 卷 期：2023年第40卷第1期

页      面：58-66页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(项目编号:61170185) 

主　　题：动作识别 图卷积网络 自注意力机制 通道注意力机制 特征融合 

摘      要：人体动作识别已成为当今热门研究领域之一,基于骨架的人体动作识别方法因其能够明确展现人体动作而备受关注。针对提取特征时手工设计的人体拓扑图无法获取全局信息、存在大量冗余信息等问题,提出一个双模注意力时空图卷积网络,充分利用了对动作识别起关键作用的节点信息。首先,提出SGSAE模块,使用自注意力机制对所有关节点之间的关系进行建模,实现对节点信息全局特征的提取,并且在网络的训练过程中优化图的拓扑结构,最终获得适应各种数据样本的图拓扑结构;其次,按不同权重融合节点的全局特征与局部特征;最后,将通道注意力机制引入到网络模型中,提出MCA模块融合通道特征,减少大量冗余信息,提高动作识别精度。实验结果表明,双模注意力时空图卷积网络在NTU-RGB+D和Kinetics数据集上取得了较好的动作识别效果。