基于时空增强双分支图卷积网络的骨骼行为识别

作     者：施宇航 何强 王恒友 SHI Yuhang;HE Qiang;WANG Hengyou

作者机构：北京建筑大学理学院 北京建筑大学大数据建模理论与技术研究所 

出 版 物：《山西大学学报(自然科学版)》 (Journal of Shanxi University(Natural Science Edition))

年 卷 期：2025年第48卷第1期

页      面：55-65页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62072024 12301581) 北京市教育委员会科学研究计划项目(KM202210016002) 北京建筑大学硕士研究生创新项目(09081024002) 

主　　题：骨骼行为识别 关节分区 时空信息增强 多尺度金字塔 映射聚合 

摘      要：针对现有基于骨骼行为识别的图卷积的方法存在关节划分固定、重视空间信息而忽视时间信息并且网络参数量较高等问题。首先引入对称关节的信息，增加对称动作的交互特征；其次，加入多尺度金字塔（Multi-scale Pyramid, MSP）时间图卷积模块，形成双分支（Dual-branch, DB）的网络结构，提高网络对时间维度的信息提取能力；最后，本研究利用特征映射和空间聚合（Feature Mapping and Spatial Aggregation,FM-SA），在保留原始拓扑结构信息的前提下，过滤了权重矩阵中的冗余部分，并添加了挤压-激励（Squeeze-and-Excitation,SE）模块，从而有效提升了空间特征的提取能力和特征图的表达能力。实验结果表明，与基准模型相比，网络参数量减少51%，在NTU RGB+D 120数据集上的关节、骨骼流的识别准确率分别提高了0.5%和1.3%，融合准确率提高0.7%,0.5%，在NTU RGB+D、Northwestern-UCLA(NW-UCLA)数据集的识别准确率分别提升0.1%,0.2%,1.5%。本文模型的有效性和可行性得到验证。