面向视频中人体行为识别的复合型深度神经网络

作     者：黄敏 尚瑞欣 钱惠敏 HUANG Min;SHANG Ruixing;QIAN Huimin

作者机构：河海大学能源与电气学院南京211100 

出 版 物：《模式识别与人工智能》 (Pattern Recognition and Artificial Intelligence)

年 卷 期：2022年第35卷第6期

页      面：562-570页

核心收录：

学科分类：0710[理学-生物学] 0711[理学-系统科学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：人体行为识别 双流卷积网络 三维卷积神经网络 梯度中心化 

摘      要：在视频人体行为识别研究中三维卷积神经网络和双流卷积神经网络均存在不足.针对此种情况,文中提出结合双流网络架构和三维网络架构的复合型深度神经网络.在双流架构的时间流子网络和空间流子网络部分均采用改进的R(2+1)D卷积神经网络,分别从视频的RGB图像序列和光流图像序列中学习行为表示和分类方法,并融合时间流子网络、空间流子网络的分类结果.进一步地,在网络训练过程中,提出基于梯度中心化算法改进的带动量的随机梯度下降算法,在不改变网络结构的情况下提高网络的泛化性能.实验表明,文中网络在UCF101、HMDB51数据集上均获得较高的识别精度.