多通道时空融合网络双人交互行为识别

作     者：裴晓敏 范慧杰 唐延东 Pei Xiaomin;Fan Huijie;Tang Yandong

作者机构：辽宁石油化工大学信息与控制工程学院辽宁抚顺113001 中国科学院沈阳自动化研究所机器人学国家重点实验室辽宁沈阳110016 

出 版 物：《红外与激光工程》 (Infrared and Laser Engineering)

年 卷 期：2020年第49卷第5期

页      面：203-208页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61401455) 辽宁省自然科学基金(2019ZD0066) 

主　　题：双人交互行为 卷积神经网络 长短时记忆网络 时空融合网络 多通道 

摘      要：提出一种基于多通道时空融合网络的双人交互行为识别方法,对双人骨架序列行为进行识别。首先,采用视角不变性特征提取方法提取双人骨架特征,然后,设计两层级联的时空融合网络模型,第一层基于一维卷积神经网络(1DCNN)和双向长短时记忆网络(BiLSTM)学习空间特征,第二层基于长短时记忆网络(LSTM)学习时间特征,得到双人骨架的时空融合特征。最后,采用多通道时空融合网络分别学习多组双人骨架特征得到多通道融合特征,利用融合特征识别交互行为,各通道之间权值共享。将文中算法应用于NTU-RGBD人体交互行为骨架库,双人交叉对象实验准确率可达96.42%,交叉视角实验准确率可达97.46%。文中方法与该领域的典型方法相比,在双人交互行为识别中表现出更好的性能。