检索结果-南通市图书馆

基于特征自适应机制的st-gcn人体行为识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征自适应机制的ST-GCN人体行为识别研究

作者：周岳靖常州大学

学位级别：硕士

在人体行为识别任务中,基于骨架关节点的模型由于能清晰、直观地表达特征、运算简便,且鲁棒性高,因此倍受关注。但是在传统骨架建模方法中,依然存在空间图构造受预定义影响,忽略了非相邻节点间信息的有效利用,以及常规卷积神经网络对遮... 详细信息

在人体行为识别任务中,基于骨架关节点的模型由于能清晰、直观地表达特征、运算简便,且鲁棒性高,因此倍受关注。但是在传统骨架建模方法中,依然存在空间图构造受预定义影响,忽略了非相邻节点间信息的有效利用,以及常规卷积神经网络对遮挡适应性较差、容易忽略全局特征等问题。针对此,本文在st-gcn模型基础上,提出几点改进方法,具体如下:(1)提出一种基于全局图遍历的st-gcn人体行为识别算法。在stgcn模型基础上,受动态规划寻优启发,提出一种全局图遍历方法建立节点关联模型。对输入视频图像经Open Pose姿态估计,进行关节信息提取并输入至卷积网络。对空间卷积部分进行优化,对节点进行全局遍历并作卷积操作,以加强非相邻节点之间的信息关联。实验时,根据梯度下降思想采用迭代下降的学习率以控制模型准确度,最后采用Soft Max分类器对动作进行识别分类。(2)提出一种位运算操作以减少计算成本。在空间图卷积过程中,加入位运算操作,以控制对节点的取舍,通过舍弃节点来减少卷积时的计算量。实验结果证明,该方法可以有效降低模型计算时的成本。(3)提出基于注意力机制的多尺度特征融合方法。首先根据特征金字塔思想,对输入特征图进行上采样处理,以生成粗尺度特征图,用以表达全局特征,再通过引入注意力机制对粗尺度图进行加权处理,通过不同的权重以区分不同身体部位重要性,减少因关节点漏标或错标而导致的识别误差,再将该特征图与细尺度特征图融合,生成最终输入特征图进行卷积。(4)在两个大型数据集NTU-RGB+D和Kinetics上验证了本文方法。对于全局图遍历方法,实验结果证明了其能有效利用非相邻节点对行为分类的影响,提升识别精度同时降低计算量。对于基于注意力机制的多尺度特征融合方法,在Kinetics数据集上有着优秀的表现,在NTURGB+D数据集也有一定的识别精度提升。本文方法在现阶段相较于主流人体行为识别算法,依然具有一定的有效性与竞争性。

关键词：行为识别特征 st-gcn 全局图遍历注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进的st-gcn模型的跌倒检测算法

信息技术与信息化 2022年第2期 69-71,75页

作者：王君涛潘长乐杨龙飞詹亮长春理工大学数学与统计学院吉林长春130000

针对当下基于图像的传统跌倒检测算法难以提取时域动作特征所导致的模型检测过程中所存在无法提取动态信息问题,建立了一种基于关节点提取和改进的st-gcn模型的实时跌倒检测算法。首先根据姿态识别算法Alphapose提取视频中人体的骨架关... 详细信息

针对当下基于图像的传统跌倒检测算法难以提取时域动作特征所导致的模型检测过程中所存在无法提取动态信息问题,建立了一种基于关节点提取和改进的st-gcn模型的实时跌倒检测算法。首先根据姿态识别算法Alphapose提取视频中人体的骨架关节点信息;然后对时域中的骨架关节点序列进行Kalman滤波估计,得到稳定变化的人体时空图;最后在传统模型基础上,考虑了一种适用于检测跌倒的新型图卷积划分策略,相比原有划分策略,加强了身体相对位置的整体联系,使得利用此模型对时空图中的人体动作进行识别。算法在数据集UR fall Detection和Multicam上与现有的几种方法进行比较,实验结果证明了文章算法的有效性。

关键词：时空图动作识别 Kalman滤波 st-gcn

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于st-gcn与骨架信息的人体行为识别

基于ST-GCN与骨架信息的人体行为识别

作者：顾嘉晖常州大学

学位级别：硕士

基于骨骼的动作识别因不受人体物理特征的影响以及潜在优势,可以简单、清晰地传达人体行为识别的重要信息,已经成为了计算机视觉这一领域的活跃主题。然而传统的应用程序骨架建模通常依赖遍历规则的人为设置而导致表达能力有限和推广困... 详细信息

基于骨骼的动作识别因不受人体物理特征的影响以及潜在优势,可以简单、清晰地传达人体行为识别的重要信息,已经成为了计算机视觉这一领域的活跃主题。然而传统的应用程序骨架建模通常依赖遍历规则的人为设置而导致表达能力有限和推广困难,以及部分方法未着重关注动作识别过程中身体部位之间的运动联系而导致的识别效率未达预期。针对这些问题,本文提出了基于st-gcn的不同改进方法,主要工作内容如下:（1）在st-gcn模型基础上提出了一种新的划分骨架关节点的分区策略:首先,利用Open Pose提取骨架关节点,在骨架序列中构造时空图,然后通过加强身体相对位置之间的关系构建新的划分策略,提高骨架关节点信息在时空上的关联。再联合利用帧序列空间信息来提取骨架信息,从信息中提取更高级别的特征来聚合图像。最后利用Soft Max对图像动作进行分类识别。（2）提出的新型训练策略能够有效改善训练模型的收敛性。首先,利用超参数的线性规则这一理论,对学习率进行相适应的调整。然后,根据学习率逐渐衰减的方法对模型进行训练。仿真结果表明,在有效改善了训练模型收敛的稳定性的同时,并不会增加训练时间。（3）在st-gcn模型基础上提出了一种新的处理视频数据及骨架关节图的方法,能有效解决因复杂环境背景以及拍摄手段等问题所导致的不明确帧的干扰。首先,对视频数据使用马尔科夫决策过程,进行有效信息帧的关注。其次,对所选中的关键信息帧的骨架关节图中关节之间的依赖关系进行捕捉,从而加强st-gcn模型在空间上的信息关联。（4）在人体行为识别的两大公开数据集Deepmind Kinetics和NTU-RGB+D（分为X-Sub和X-View两组数据集）上验证本文中所提出的两种基于st-gcn模型的改进方法。根据实验结果显示,将加强身体相对位置之间的关系与提取骨架关节点信息相结合的分区策略有效地提升了人体行为识别的识别精度。通过对关键信息帧的提取和捕捉基于图像的卷积神经网络关节之间的依赖关系,对大规模数据集中视频数据存在大镜头运动稳定性差的问题有着明显的提升效果。对于本文提出的训练策略方法,在Kinetics和NTU-RGB+D（X-Sub和X-View）两组数据集上进行了验证。实验表明:在相同环境下进行训练时,通过训练策略对学习率进行相适应的调整,改善了模型收敛的稳定性,对应的两组数据集的top-1的识别精度分别有着一定的提升。本文中所提方法在大规模数据集下的识别精度与目前主流的方法比较具有较强的竞争力。

关键词：行为识别 st-gcn 分区策略学习率关键帧

基于深度学习的井下人员不安全行为识别与预警系统研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

金属矿山 2023年第3期 177-184页

作者：李雯静刘鑫武汉科技大学资源与环境工程学院湖北武汉430081

井下作业人员的不安全行为是矿山事故发生的主要原因之一,现有的井下监控方式仍然以人工监控为主,无法快速识别作业人员的不安全行为,导致难以实时预警。设计了一种基于深度学习的井下人员不安全行为识别与预警系统开发方案,首先制作以... 详细信息

井下作业人员的不安全行为是矿山事故发生的主要原因之一,现有的井下监控方式仍然以人工监控为主,无法快速识别作业人员的不安全行为,导致难以实时预警。设计了一种基于深度学习的井下人员不安全行为识别与预警系统开发方案,首先制作以井下环境为背景的数据集,然后采用YOLOv4网络模型对矿工及安全帽等进行识别以判断安全帽佩戴情况,再采用OpenPose算法及st-gcn模型对监控视频中的矿工行为进行识别,最后通过系统对不安全行为进行自动预警。结合多种深度学习和计算机开发技术开发了一种井下人员不安全行为识别与预警系统,为井下人员的安全管理提供了新的思路,对于智慧矿山建设具有参考意义。

关键词：智慧矿山深度学习 st-gcn YOLOv4 监控系统

基于多元复合深度学习的肉鸽行为识别算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

中国家禽 2023年第11期45卷 112-125页

作者：朱立学陈品岚黄伟锋张世昂李小敏仲恺农业工程学院机电工程学院广东广州510225 仲恺农业工程学院自动化学院广东广州510225

为实现肉鸽行为准确识别,研究提出一种基于多元复合深度学习的肉鸽行为识别算法。该算法通过使用YOLOX-s模型检测肉鸽目标区域作为AlphaPose肉鸽姿态预估模型输入预估肉鸽骨架每个关键点,结合连续视频帧的骨架变化关键点数据构建肉鸽骨... 详细信息

为实现肉鸽行为准确识别,研究提出一种基于多元复合深度学习的肉鸽行为识别算法。该算法通过使用YOLOX-s模型检测肉鸽目标区域作为AlphaPose肉鸽姿态预估模型输入预估肉鸽骨架每个关键点,结合连续视频帧的骨架变化关键点数据构建肉鸽骨架时空图作为st-gcn肉鸽行为识别模型输入,实现肉鸽行为识别。对YOLOX-s模型使用CSPResNet替代其主干网络,并减少CSP模块中的残差块以保留更多肉鸽图像的中层细节特征,在姿态预估模型中使用ECCWB-LiteHRNet作为其单目标姿态估计器,以提高肉鸽关键点特征识别能力。结果显示,改进后的YOLOX-s模型平均精度、检测速度分别为0.985、40.2fps,较原模型提高了0.002、6.9 fps;姿态预估模型平均精度、平均召回率和检测速度分别为0.887、0.921和28.5 fps,较原模型提高了0.036、0.016和12.9fps;st-gcn模型行为识别平均准确率为0.970,单帧推理时间约为15 ms,最终多进程模型并行推理平均帧处理速度为28.5 fps,经过Tensorrt加速后平均帧处理速度可达50.8 fps。研究表明,st-gcn模型能够快速准确地识别出肉鸽当前行为,且改进后的姿态预估模型可为st-gcn模型提供更加稳定的骨架数据,为通过行为特征感知肉鸽身体信息及开展数字化健康管理提供技术支撑。

关键词：肉鸽行为识别 YOLOX AlphaPose st-gcn

基于深度学习的滑雪动作相似度计算研究与应用

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的滑雪动作相似度计算研究与应用

作者：熊文彬南昌大学

学位级别：硕士

在传统的滑雪训练中,由于种种的限制,例如场地限制、没有专业人士指导、无法对比进步、人体姿态相似度计算对于设备计算能力要求高等问题,导致了学习此项运动成本高。针对这些问题,本文提出了滑雪姿态相似度计算方法,开发了一套滑雪运... 详细信息

在传统的滑雪训练中,由于种种的限制,例如场地限制、没有专业人士指导、无法对比进步、人体姿态相似度计算对于设备计算能力要求高等问题,导致了学习此项运动成本高。针对这些问题,本文提出了滑雪姿态相似度计算方法,开发了一套滑雪运动训练辅助系统,实现滑雪运动爱好者能够自我学习、无需专业人员指导的效果。本文的主要研究工作和贡献如下:(1)本文针对如何进行滑雪动作姿态相似度计算展开研究,目前基于深度学习的滑雪运动姿态相似度的研究仍不完善,并且往往考虑的因素过于单一,针对不同的运动类型,考虑的影响因素往往相同,这并不符合不同类型的动作得分点不同的规则。所以本文在滑雪运动的规则下,综合考虑了人体骨骼关节角的变化频率与手臂摆动频率的因素,提出了滑雪姿态相似度计算方法。通过对比不同身高差的实验者,在只考虑人体骨骼关节角的变化频率与本文方法做对比。根据对比结果得出,该方法可以提高滑雪姿态相似度的计算准确率,解决了针对在滑雪运动下,因为考虑的影响因素单一而导致的姿态相似度计算不准确的问题。(2)本文针对如何解决滑雪姿态相似度计算对设备要求高以及因此导致用户无法轻量级使用的问题展开研究。本文提出了针对滑雪姿态转化为评分的方法,该方法需要将视频逐帧进行骨骼点信息的获取,再将这些信息输入到分类器中经过本文预先训练的模型识别得到动作类型,之后再通过与标准动作骨骼点信息进行相似度的计算,最终得到评分。从视频到评分的过程中对于设备的计算能力要求较高,所以本文针对这个问题,将评分功能封装成一个服务,作为本文系统中的一个模块存在,解决了对用户设备的性能要求。并且开发了一套滑雪运动辅助评分系统,这套系统采用Spring Cloud微服务架构开发,使用Consul作为服务注册中心,openfeign作为不同服务之间的通讯组件。通过这套系统解决了用户无法轻量级使用滑雪姿态相似度计算的问题。

关键词： OpenPose 滑雪姿态相似度计算 st-gcn 骨骼关节点检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的交警手势检测识别算法研究

基于深度学习的交警手势检测识别算法研究

作者：陈麒桂林电子科技大学

学位级别：硕士

随着深度学习技术在智能驾驶领域的快速发展,针对交警手势检测识别技术的需求已呈现出巨大的研究意义。在交警手势识别任务中,对交警骨骼特征提取的快速性,以及对连续动作识别的准确性,是研究需要攻克的关键问题。本文针对交警动态手势... 详细信息

随着深度学习技术在智能驾驶领域的快速发展,针对交警手势检测识别技术的需求已呈现出巨大的研究意义。在交警手势识别任务中,对交警骨骼特征提取的快速性,以及对连续动作识别的准确性,是研究需要攻克的关键问题。本文针对交警动态手势识别的实际需求,基于深度学习技术,开展对交警姿态估计与动作识别算法的改进和研究。主要工作内容如下:针对交警姿态估计算法存在的特征提取困难、检测速度缓慢等问题,本文提出一种改进OpenPose网络的交警姿态估计方法。采用Mobile Net作为主干网络进行交警姿态的特征提取,优化模型随层次加深导致性能退化的问题,减少网络的参数量,加速主干网络内部特征的计算;通过跳跃连接机制将模型由并行结构改进为串并同行结构,实现网络内部参数共享,降低模型的复杂度,提高交警骨骼检测的实时性。通过实验验证,改进模型展示了良好的检测效果,为交警姿态估计问题提供了一种鲁棒性强、实时性高的实际方法。为了解决交警动态手势识别精度低、鲁棒性差等问题,本文设计了一种基于stgcn的交警动态手势识别方法。采用st-gcn作为主体网络,优化交警骨骼拓扑图结构,分别从空间和时间维度提取骨骼特征;融合空间注意力机制,通过更新图注意力矩阵,优化交警骨骼连通结构,突出动态手势中有效的空间特征;增加时间注意力机制,赋予通道信息不同程度的关注,加强学习手势中核心动作的特征。设计模型对交警8类手势在不同场景下的对比实验,结果表明:融合注意力机制的stgcn交警手势识别网络获得了良好的识别效果,平均识别准确率达到88.82%,相较经典st-gcn识别准确率提高了5.79%,验证了融合注意力机制的st-gcn算法在交警动态手势识别上的良好表现。根据交警手势检测识别算法在实际交通中的任务需求,本文设计了一款面向交通环境的交警手势识别系统。针对环境中存在的干扰,采用YOLOv5s网络对交警区域进行检测,并通过Kalman滤波算法对其位置追踪,提高系统在交通环境运用的实效性;搭建了一款图形交互界面,优化了识别结果的可读性及美观性。通过对本地视频与在线视频流两种模式的测试,验证了系统的优良性能,为智能驾驶领域中的交警手势识别技术的研究提供了一种可行方案。

关键词：深度学习姿态估计动作识别 OpenPose st-gcn

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

粮仓作业人员摔倒检测技术研究

粮仓作业人员摔倒检测技术研究

作者：桂崇文河南工业大学

学位级别：硕士

粮仓工人日常作业时常伴有一定的危险,例如粮食出入库时工人需在大量流动的粮食旁工作,日常储藏时工人需要在狭窄的房梁上整理粮面,熏蒸作业时工人需要佩戴沉重的防毒装备等,工人一旦意外掉入粮堆,难以自救。随着智能粮库信息化的建设,... 详细信息

粮仓工人日常作业时常伴有一定的危险,例如粮食出入库时工人需在大量流动的粮食旁工作,日常储藏时工人需要在狭窄的房梁上整理粮面,熏蒸作业时工人需要佩戴沉重的防毒装备等,工人一旦意外掉入粮堆,难以自救。随着智能粮库信息化的建设,将人工智能技术应用于作业工人的安全检测具有重要意义。本文将人体姿态估计和人体行为识别两个计算机视觉的方向衔接融合,以人体姿态估计的结果作为人体摔倒检测输入,设计两种人体摔倒检测模型。实验结果表明该研究成果对粮仓智能监控的建设有一定的应用意义。具体工作如下:(1)建立粮仓作业工人数据集。使用海康威视HD3000高清摄像头拍摄视频数据,对视频数据逐帧截取生成图像,使用Labelme对人体关键点进行标注并保存为Json类型文件。为了更加符合粮仓真实场景,增强模型泛化能力,对收集的原始图像进行图像增强处理,分别加入高斯噪声和雾化处理,再添加部分公共数据集,制成粮仓作业工人数据集8000张。(2)针对人体姿态估计Open Pose模型运行速度慢的问题,提出一种轻量化的改进方案。使用轻量级网络Mobile Net v2替换原始主干网络,加入NAM注意力模块,抑制不明显的特征。剪枝和量化关键点的预测与关联结构。使用粮仓作业工人数据集训练该模型,实验结果表明,改进后的Open Pose模型与原始模型相比,精度降低1.5%,运行速度从1.6 FPS升至28 FPS,内存占用量从220M降至4.1M,可以做到实时检测。最后用改进的Open Pose结果制成6000张人体骨骼数据集。(3)将人体骨骼数据集作为输入,设计一种基于全连接神经网络的粮仓作业人员摔倒检测模型。将6000张人体骨骼数据集手工分类为摔倒和正常两种状态,使用全连接神经网络和人体矩形框的宽高比综合判定摔倒状态。实验结果表明,准确率达到96.6%,运行速度达到26 FPS。(4)为了解决人体摔倒过程中临界状态模糊的问题,提出一种改进的时空图卷积网络(st-gcn),识别人体行为的完整流程。在st-gcn中加入多头自注意力机制,扩大图卷积的感受野。构造一种关键点分区策略,使得非物理的骨骼连接相关性更强。实验结果表明,改进后的st-gcn模型与原始模型相比,准确率从89.2%提升至94.2%,速度由104 FPS提升至107 FPS,内存从3.14M降至3.05M。

关键词：摔倒检测 OpenPose st-gcn NAM注意力模块多头自注意力机制

基于警用巡逻机器人的警情识别与警情等级划分系统研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于警用巡逻机器人的警情识别与警情等级划分系统研究

作者：胡丽军安徽大学

学位级别：硕士

警用巡逻机器人是集成自主导航功能和典型警情识别功能的移动机器人,在一些公共场合以及重大比赛区域起到巡逻和安保作用。本文从时空图卷积神经网络和空域图卷积理论这两个角度出发,提出基于新空间分区的st-gcn(Spatial Temporal Graph... 详细信息

警用巡逻机器人是集成自主导航功能和典型警情识别功能的移动机器人,在一些公共场合以及重大比赛区域起到巡逻和安保作用。本文从时空图卷积神经网络和空域图卷积理论这两个角度出发,提出基于新空间分区的st-gcn(Spatial Temporal Graph Convolutional Networks)人体行为识别算法和基于对称归一化的st-gcn人体行为识别算法。基于警用巡逻机器人平台,设计出警情识别系统和警情等级划分系统,具体工作如下:1)提出一种基于新空间分区的st-gcn人体行为识别算法。该算法针对st-gcn模型中原空间分区存在根节点与更远节点无法建立连接关系,导致卷积算子对人体局部特征无法生成更高级的特征映射问题。新空间分区策略在原空间分区上进行改进:进一步扩大邻域集范围并计算每个节点和根节点的距离来对各个节点进行聚类为4个子集。此外,在st-gcn模型的每一层添加可学习的参数掩码M和残差模块,最后通过公开数据集进行算法验证。2)提出一种基于对称归一化的st-gcn人体行为识别算法。该算法针对原st-gcn模型中归一化方法聚合节点特征存在对高度邻居节点缩放不彻底的问题。对称归一化策略使用两个度矩阵对邻接矩阵的行列同时进行归一化,目的在于给低度节点附加更大的权重,以减少高度节点对整体的影响,最后通过公开数据集验证对称归一化聚合算法。3)基于警用巡逻机器人平台和前期改进算法工作,设计出警情识别系统和警情等级划分系统。在科研大楼巡逻过程中,分别在其室外测试警情识别系统和在室内测试警情等级划分系统,证明了本系统的有效性。最后论文展示了警情识别和警情等级划分结果的可视化界面。

关键词：警用巡逻机器人警情等级划分新空间分区对称归一化警情识别 st-gcn