结合多注意力机制与时空图卷积网络的人体动作识别方法
Human Action Recognition Method Based on Multi-Attention Mechanism and Spatiotemporal Graph Convolution Networks作者机构:山东大学软件学院济南250101
出 版 物:《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)
年 卷 期:2021年第33卷第7期
页 面:1055-1063页
核心收录:
学科分类:08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程]
摘 要:人体动作识别因其难以结合时空域信息成为计算机视觉方向中一项具有挑战性的任务.提出一个多注意力时空图卷积网络,其核心思想是根据时间序列信息和人体骨架的自然连接构建一个连通图,然后利用具有多注意力机制的时空图卷积网络自动地学习空间和时间特征并且优化该连通图,最后实现对人体动作的预测.引入图注意力模块,模型构建的图的拓扑结构在初始化后会随着网络训练的过程进行优化,最终得到更适合表达人体动作的拓扑结构.此外,加入通道注意力模块,使网络能够更加注意相对重要的通道信息,从而提取更有效描述动作的特征.在公认的大型数据集NTU-RGBD和Kinetics上进行了大量的实验,结果表明该方法具有更高的识别准确率.