咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >基于姿态估计及图卷积神经网络的人体行为识别系统的设计与实现 收藏
基于姿态估计及图卷积神经网络的人体行为识别系统的设计与实现

基于姿态估计及图卷积神经网络的人体行为识别系统的设计与实现

作     者:岳丽莹 

作者单位:石河子大学 

学位级别:硕士

导师姓名:曾窕俊

授予年度:2023年

学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)] 

主      题:行为识别 人体骨架 注意力机制 自适应图卷积网络 

摘      要:在人机交互、视频监控、健康医疗等众多应用中,对人体行为进行检测与分析的重要性日益突出,人们对人体行为进行识别与模型化的研究也越来越重视。为解决RGB图像行为识别算法存在的诸多问题,如受到外界环境因素的影响、图像的色彩变化以及噪音的影响,本文在基于骨架序列的数据上进行行为识别算法的研究。随着低成本、高精度的深度摄像头的广泛应用,以及对人体骨架进行精确定位的方法越来越简单,因此基于骨架的行为识别逐渐成为研究重点。运用骨架进行动作识别过程中,无论是环境光线,还是背景,都不会对结果造成干扰。除了提供高质量的骨架数据,它们的结构清晰、操作便捷,可以大大减少对计算力的消耗。本文使用人体骨架数据对其进行处理,并应用于改进后的网络模型,从而实现了对人体动作的识别。本文进行了一系列研究,探索了如何获取更全面的特征信息,提取其深度特征以及如何更好地利用骨架数据的信息。主要的研究内容如下:(1)提出了一个基于全局关系的自适应图卷积网络(Global Adaptive Graph Convolutional Network,GA-GCN),它可以有效地捕捉空间特征和关节间的全局依赖关系,从而达到更加准确的识别效果。为了更好地识别出空间域中的特征,该网络不仅在原有的物理结构的关系连接上进行了改进-增加了新的关系连接边连接,而且还引入了空间注意力模块,以便更准确地捕获出空间域中的判别性特征。在Kinetics数据集上,提出的网络相较于基线网络在Top-1的准确性上提升了1.4%,在Top-5的准确性上提升了2.3%,证明了算法的有效性和竞争优势。(2)提出了一个基于时空注意力机制的全局自适应图卷积网络(Spatio-Temporal Attention Mechanism and Global Adaptive Graph Convolutional Network,STAM-GAGCN)。它利用时空注意力机制,通过多尺度时间卷积技术,有效地捕捉和提取时空特征,并且可以有效地从时间和空间两个维度搜索重要的特征,通过将时间和空间注意力模块融合在一起,更好地实现人体骨架的行为识别。本文从原始骨架数据中提取出关节和骨骼的相关信息,从而构建出一个双流网络模型,它能够有效地将两者的预测结果进行加权融合,从而更准确地对行为进行预测分类。在Kinetics数据集上,与先进方法相比较有了不小的提升,相较于基线网络在Top-1的准确性上提升了3%,在Top-5的准确性上提升了3.4%,证明了算法的有效性和竞争优势。(3)实现了基于骨架的人体行为识别系统。首先对系统进行总体设计,之后进行各个模块的设计最终实现系统的各个功能并进行展示。系统通过摄像头采集或者视频文件上传,经过Open Pose人体姿态估计技术,将视频序列转化为骨骼序列,再通过封装好的行为识别算法,完成识别的全过程。

读者评论 与其他读者分享你的观点