时空域融合的骨架动作识别与交互研究

作     者：钟秋波 郑彩明 朴松昊 ZHONG Qiubo;ZHENG Caiming;PIAO Songhao

作者机构：宁波工程学院机器人学院浙江宁波315211 哈尔滨工业大学机器人系统与技术国家重点实验室黑龙江哈尔滨150001 哈尔滨工业大学计算机科学与技术学院黑龙江哈尔滨150001 

出 版 物：《智能系统学报》 (CAAI Transactions on Intelligent Systems)

年 卷 期：2020年第15卷第3期

页      面：601-608页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61203360,61502256) 浙江省自然科学基金项目(LQ12F03001) 

主　　题：动作识别 时空关系 姿态运动 时空域融合 图卷积神经网络 时域关注度 自适应特征增强 人体动作交互 

摘      要：在人体骨架结构动作识别方法中,很多研究工作在提取骨架结构上的空间信息和运动信息后进行融合,没有对具有复杂时空关系的人体动作进行高效表达。本文提出了基于姿态运动时空域融合的图卷积网络模型(PM-STFGCN)。对于在时域上存在大量的干扰信息,定义了一种基于局部姿态运动的时域关注度模块(LPM-TAM),用于抑制时域上的干扰并学习运动姿态的表征。设计了基于姿态运动的时空域融合模块(PMSTF),融合时域运动和空域姿态特征并进行自适应特征增强。通过实验验证,本文提出的方法是有效性的,与其他方法相比,在识别效果上具有很好的竞争力。设计的人体动作交互系统,验证了在实时性和准确率上优于语音交互系统。