基于时空协同的自然场景人体行为检测方法研究

作     者：陶孟元 

作者单位：安庆师范大学 

学位级别：硕士

导师姓名：黄忠

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人体行为检测 自适应残差收缩结构 时空上下文 非局部注意力机制 对称多尺度结构 

摘      要：随着智能监控和人机交互技术的发展及应用,人体行为检测研究已成为计算机视觉领域的研究热点问题之一,并受到了学者们的广泛关注。与基于已剪辑过的视频行为分类不同,人体行为检测需要在真实场景中自动检测出行为片段并进行行为识别。然而受复杂背景以及行为持续时间不等、相似度高、类别多样等因素的影响,在真实场景中的人体行为检测精度有待进一步提升。为改善人体行为检测的性能,基于端到端的深度学习网络逐渐引入到人体行为检测方法中,代表性有SSN、LGN、R-C3D等网络。但由于受环境、光照、遮挡等影响,这些网络提取的行为特征冗余度高;其次,由于各类行为的持续时间长短不同,这些网络捕获长距离依赖关系以及时空上下文信息能力弱。这些因素制约了行为边界的定位精度和行为分类的准确度。为进一步提升人体行为检测的性能,本文主要进行以下研究工作:(1)针对R-C3D行为检测网络特征提取冗余度高以及无法充分捕获行为的长距离依赖关系,本文结合残差收缩结构和时空上下文提出了一种改进的行为检测网络RS-STCBD。该网络包含嵌入自适应残差收缩机制的特征提取子网、基于多层卷积策略的时序候选子网以及引入非局部注意力机制的行为分类子网。在特征提取子网中,引入收缩结构和软阈值化操作到3D-Res Net中,构建通道自适应阈值的残差收缩单元(3D-RSST),并级联多个3D-RSST单元以提高特征提取子网提取行为特征的有效度;在时序候选子网中,嵌入多层卷积替代一次卷积,以增加时序侯选片段的时序维度感受野;在行为分类子网中,引入非局部注意力机制,捕获优质行为时序片段间的长距离依赖关系。在THUMOS’14和Activity Net1.2数据集上的实验结果表明:提出的RS-STCBD网络在两个数据集上的m AP@0.5分别达到36.9%和41.6%,比R-C3D网络提升了8.0%和14.8%。(2)针对R-C3D行为检测网络无法捕获多层次、多粒度的行为时空上下文信息,本文进一步提出了一种时空对称多尺度结构的行为检测网络RS-STSM。该网络在时序候选子网中嵌入时空对称多尺度结构,通过扩展行为特征图的时空维度感受野,从而获取具有不同层次、不同粒度的时空对称多尺度运动特征;同时,在行为分类子网中引入了Soft-NMS策略替代非极大值抑制策略以筛选优质的时序片段。在THUMOS’14和Activity Net1.2数据集上的实验结果表明:改进后的RS-STSM网络在两个数据集上的m AP@0.5分别达到39.4%和42.2%,比R-C3D提高了10.5%和15.4%。与相关方法相比,改进的RS-STCBD和RS-STSM网络在动作边界定位精度和行为分类准确率方面均具有较好的优势。因此,改进的行为检测网络有利于改善自然场景下的人机交互质量。