检索结果-南通市图书馆

检索条件"主题词=双模态动作识别"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于关键点视觉检测技术的动作识别研究

基于关键点视觉检测技术的动作识别研究

引用

作者：张雷集美大学

学位级别：硕士

动作识别是计算机视觉和人工智能领域的重要研究方向,旨在从图像或视频数据中自动识别和理解特定的动作或行为。在这个领域中,人体的动作识别是一个具有挑战性且极具应用前景的研究热点。通过分析人体在不同场景下的姿态和动作可以实现... 详细信息

动作识别是计算机视觉和人工智能领域的重要研究方向,旨在从图像或视频数据中自动识别和理解特定的动作或行为。在这个领域中,人体的动作识别是一个具有挑战性且极具应用前景的研究热点。通过分析人体在不同场景下的姿态和动作可以实现对人类行为的智能监测、行为识别和健康管理等多种应用。由于骨骼关键点序列表征了人体动作的时空信息,基于该数据的动作识别方案受到了广泛关注,当前的国内外的研究都集中在图卷积网络(GCN)。GCN能够根据图结构学习到不同关键点之间的时空关系,从而提高动作识别的准确性;但是其对于图结构的手工设计降低了鲁棒性,且构建和处理时空图需要花费更多的计算资源。区别于图卷积网络,本文的解决方案是将关键点热图序列进行沿时间轴的堆叠从而表示动作的变化,通过构建3D CNN与3D Transformer的混合模型进行动作识别,以提升识别性能。本文的主要研究内容和结果如下:(1)构建高性能的CCDN-DETR人体目标检测模型。在端到端的目标检测框架DETR的基础上,引入跨尺度编码器以促进在不同尺度上的综合信息建模和融合,达到适应不同人体目标的多尺度特性;优化解码器输入层的查询选择方案,采用IOU损失函数来更有效地初始化目标查询;在解码器层引入限制对比去噪训练,以提高模型的收敛速度及不同背景环境下的人体目标的检测精度。(2)针对获取人体关键点坐标时出现的遮挡、环境背景变化等影响精度的问题,本文提出一种MDW-HRNet算法实现高效率的人体姿态估计。该算法通过引入上下文信息建模和跨通道动态卷积等新模块,实现了对输入张量各维度的像素级加权,保证了坐标定位效率。其中上下文信息建模模块分为通道分支和空间分支,在维持高分辨率特征的同时减小信息压缩;跨通道动态卷积采用一维卷积来增强信息交互,从而提高人体姿势估计的性能。在COCO Val基准中,MDW-HRNet以1.8M的参数量达到72.9AP的性能,实现精度与效率的平衡。(3)基于3D CNN与3D Transformer,建立混合模型PCT3D进行人体动作识别。PCT3D的输入来自于MDW-HRNet预测的2D关键点,该数据被转化为沿时间轴堆叠的热图序列以充分表示动作的变化过程,之后PCT3D在热图序列基础上采用3D混合模型用于动作识别。另外,由于现有的动作识别方法通常只考虑姿态数据或RGB数据,忽视了两者之间的关联互补,且现有的骨骼动作识别网络无法获取背景像素所代表的上下文特征,本文在PCT3D模型的基础上引入RGB模态的特征进行优化,组成双模态RGB＿PCT3D模型进行动作识别。实验结果表明,PCT3D模型以约ST-GCN模型16.1%的参数量,在NTU RGB+D数据的XSub以及XView子集中分别达到了92.1%以及96.3%的Top1分数,在Kinetics400数据集中达到了37.6%的Top1分数;双模态RGB＿PCT3D网络在NTU RGB+D数据的XSub基准中达到95.2%的准确度。(4)真实场景的动作识别验证。在上述工作的基础上,通过收集一系列真实场景中的动作视频数据,用于对PCT3D的性能进行进一步测试验证。测试数据共125个视频,包括单人动作坐下、鼓掌、脱外套、跳跃、跌倒,以及多人动作分开走、拥抱、推。实验结果表明:PCT3D的识别准确率达到了72.8%,优于ST-GCN的18.4%和MS-G3D的72%;PCT3D在处理遮挡或者关键点信息缺失的情况下表现出色,能够准确识别动作类型,但对于存在噪声的非标准动作的识别效果有待进一步改进。

关键词： 3D CNN 3D Transformer 目标检测人体姿态估计双模态动作识别

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：