时空自适应图卷积与Transformer结合的动作识别网络

作     者：韩宗旺 杨涵 吴世青 陈龙 HAN Zongwang;YANG Han;WU Shiqing;CHEN Long

作者机构：上海理工大学机械工程学院上海200093 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2024年第46卷第6期

页      面：2587-2595页

核心收录：

学科分类：12[管理学] 07[理学] 08[工学] 0711[理学-系统科学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080401[工学-精密仪器及机械] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(52005338) 

主　　题：智能工厂 工人动作识别 深度学习 自适应图 Transformer 

摘      要：在一个以人为中心的智能工厂中,感知和理解工人的行为是至关重要的,不同工种类别往往与工作时间和工作内容相关。该文通过结合自适应图和Transformer两种方式使模型更关注骨架的时空信息来提高模型识别的准确率。首先,采用一个自适应的图方法去关注除人体骨架之外的连接关系。进一步,采用Transformer框架去捕捉工人骨架在时间维度上的动态变化信息。为了评估模型性能,制作了智能生产线装配任务中6种典型的工人动作数据集,并进行验证,结果表明所提模型在Top-1精度上与主流动作识别模型相当。最后,在公开的NTURGBD和Skeleton-Kinetics数据集上,将该文模型与一些主流方法进行对比,实验结果表明,所提模型具有良好鲁棒性。