检索结果-南通市图书馆

基于Transformer的三维人体姿态估计及其动作达成度评估

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

仪器仪表学报 2024年第4期45卷 136-144页

作者：杨傲雷周应宏杨帮华徐昱琳上海大学机电工程与自动化学院上海200444 上海市电站自动化技术重点实验室上海200444

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了... 详细信息

针对人机交互、医疗康复等领域存在的人体姿态分析与评估问题,本文提出了一种基于Transformer的三维人体姿态估计及其动作达成度评估方法。首先,本文定义了人体姿态的关键点及关节角,并在深度位姿估计网络(DPEN)的基础上,提出并构建了一个基于Transformer的三维人体姿态估计模型(TPEM),Transformer的引入能够更好的提取人体姿态的长时序特征;其次,利用TPEM模型对三维人体姿态估计结果,设计了基于加权3D关节角的动态时间规整算法,在时序上对不同人物同一动作的姿态进行姿态关键帧的规整匹配,并据此提出了动作达成度评估方法,用于给出动作的达成度分数;最后,通过在不同数据集上进行实验验证,TPEM在Human3.6 M数据集上实现了平均关节点误差为37.3 mm,而基于加权3D关节角的动态时间规整算法在Fit3D数据集上的平均误差帧数为5.08,展现了本文所提方法在三维人体姿态估计与动作达成度评估方面的可行性和有效性。

关键词：三维人体姿态估计深度学习动态时间规整动作评估

空间注意力与位置优化的三维人体姿态估计域适应算法

在线全文

学校读者我要写书评

暂无评论

计算机科学与探索 2024年第9期18卷 2384-2394页

作者：姜友鹏华阳宋晓宁江南大学人工智能与计算机学院江苏省模式识别与计算智能工程实验室江苏无锡214122

现有三维人体姿态估计器在单个数据集上表现较好,但受限于训练数据姿态结构的单一,其在跨域实验上的泛化性不足。现有方法通过增加姿态多样性来弥补该缺陷,然而这些方法生成的新姿态缺乏真实有效性且姿态全局位置的分布与目标数据集仍... 详细信息

现有三维人体姿态估计器在单个数据集上表现较好,但受限于训练数据姿态结构的单一,其在跨域实验上的泛化性不足。现有方法通过增加姿态多样性来弥补该缺陷,然而这些方法生成的新姿态缺乏真实有效性且姿态全局位置的分布与目标数据集仍存在显著差距。针对上述问题,提出一种基于生成对抗网络(GAN)的空间注意力与全局位置优化的三维人体姿态估计域适应算法。算法引入空间节点注意力模块约束生成器产生更自然的人体姿态,并结合姿态位置修正模块促使生成姿态向目标数据域对齐,从而解决以上域适应问题。此外,为了提升估计器训练的稳定性,提出一种端到端随机混合的训练策略,使姿态估计器可兼顾新旧数据信息的学习。作为一种生成式的域适应方法,该算法可以高效地应用于各种二阶段三维人体姿态估计器。通过跨场景实验与跨数据集实验,结果表明所提算法在多个基准数据集上的表现均达到当前最佳。其中在3DHP数据集中,该方法MPJPE与AUC指标相比最优工作优化了1.7%和1.4%,验证了所提算法可有效提高三维人体姿态估计器的泛化性。

关键词：三维人体姿态估计无监督域适应生成对抗网络(GAN) 注意力机制

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

预加权调制密集图卷积网络三维人体姿态估计

计算机科学与探索 2024年第4期18卷 963-977页

作者：马金林崔琦磊马自萍闫琦曹浩杰武江涛北方民族大学计算机科学与工程学院银川750021 图像图形智能信息处理国家民委重点实验室银川750021 北方民族大学数学与信息科学学院银川750021

图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要... 详细信息

图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块(MDC)和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法(WMDGCN)。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用(超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略),从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。

关键词：三维人体姿态估计图卷积网络预加权

基于双循环Transformer的三维人体姿态估计

在线全文

学校读者我要写书评

暂无评论

传感技术学报 2024年第7期37卷 1236-1243页

作者：刘星王宇晶南京信息职业技术学院数字商务学院江苏南京210023 南京中医药大学针灸推拿学院江苏南京210023

针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上... 详细信息

针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上的仿真实验,验证了双循环Transformer算法的性能。分析结果表明,最终估计得到的三维人体关节点的平均关节点位置偏差MPJPE(Mean Per Joint Position Error)为41.6 mm,相比于现有方法有一定提升,可以应用到许多下游相关工作中,有着较强的应用价值。

关键词：信号与信号处理三维人体姿态估计双循环Transformer 时空相关性视觉传感器

基于平行多尺度时空图卷积网络的三维人体姿态估计算法

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年

作者：杨红红刘泓希张玉梅吴晓军陕西师范大学现代教学技术教育部重点实验室陕西师范大学民歌智能计算与服务技术文化旅游部重点实验室陕西师范大学计算机科学学院

针对基于图卷积神经网络(GCN)的人体姿态估计方法不能充分聚合关节点时空特征、限制判别性特征提取的问题,本文构造基于平行多尺度时空图卷积的网络模型(PMST-GNet),提高三维人体姿态估计的性能.该模型首先设计对角占优的时空注意力图卷... 详细信息

针对基于图卷积神经网络(GCN)的人体姿态估计方法不能充分聚合关节点时空特征、限制判别性特征提取的问题,本文构造基于平行多尺度时空图卷积的网络模型(PMST-GNet),提高三维人体姿态估计的性能.该模型首先设计对角占优的时空注意力图卷积(DDA-STGConv),构建跨域时空邻接矩阵,对骨架关节点信息进行基于自约束和注意力机制约束的建模,增强节点间的信息交互;然后,通过设计图拓扑聚合函数构造不同的图拓扑结构,以DDA-STGConv为基本单元构建平行多尺度子网络模块(PM-SubGNet);最后,为了更好的提取骨架关节的上下文信息,设计多尺度特征交叉融合模块(MFEB),实现平行子图网络之间多尺度信息的交互,提高GCN的特征表示能力.在主流3D姿态估计数据集Human3.6M和MPI-INF-3DHP数据集上的对比实验结果表明,本文所提出的PMST-GNet模型在三维人体姿态估计中具有较好的效果,优于Sem-GCN、GraphSH、UGCN等当前基于GCN网络的主流算法.

关键词：三维人体姿态估计对角占优的时空注意力图卷积平行多尺度子网络多尺度特征交叉融合

融合图卷积与Transformer的三维人体姿态估计网络

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自动化应用 2024年第13期65卷 71-75,86页

作者：闫永杰李敏奇西安工程大学电子信息学院陕西西安710600

两阶段的3D人体姿态估计方法因先进的2D姿态检测器而取得了显著进步,但深度信息的歧义性仍使这项任务极具挑战性。为解决此难题,提出了MGCNTrans的3D人体姿态估计网络。该方法采用2D-3D的提升策略。MGCNTrans网络融合了Transformer网络... 详细信息

两阶段的3D人体姿态估计方法因先进的2D姿态检测器而取得了显著进步,但深度信息的歧义性仍使这项任务极具挑战性。为解决此难题,提出了MGCNTrans的3D人体姿态估计网络。该方法采用2D-3D的提升策略。MGCNTrans网络融合了Transformer网络和空间通道图卷积网络的优势。该模型以多帧数据为输入,利用周围帧的信息来约束当前帧的姿态估计。在特征学习方面,图卷积网络被用于学习人体关节之间的物理连接关系,捕捉局部的空间特征。而Transformer网络则挖掘关节之间的隐式关系,提供全局的上下文信息。为提升模型性能,图卷积层融合了空间层和通道层,促使节点在局部和全局范围内更好地进行交互,增加特征多样性,并更准确地估计人体姿态。结果表明,MGCNTrans网络在3D人体姿态估计任务上取得了优越性能,证明了其有效性和先进性。

关键词：三维人体姿态估计图卷积网络 Transformer网络

在线全文

学校读者我要写书评

暂无评论

改进的三维人体姿态估计算法

计算机系统应用 2024年第4期33卷 187-193页

作者：陈荣桂贾振堂上海电力大学电子与信息工程学院上海201306

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头... 详细信息

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.

关键词：三维人体姿态估计图注意力卷积骨骼长度损失深度学习

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于多层空间特征融合的三维人体姿态估计

计算机系统应用 2024年第8期33卷 250-256页

作者：梁桉源肖学中南京邮电大学计算机学院南京210023

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人... 详细信息

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用,利用Transformer编码器建立关节之间的上下文关系,可以更好地推断出人体姿态;在大模型的背景下,如何在保证模型性能的同时,降低参数量,也显得尤为重要.针对上述问题,设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN),在使用相对少量的参数基础上,有效地融合了局部和全局空间特征.实验结果表明,本文提出的方法在仅需2.1M参数量的情况下,在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE).此外,模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.

关键词：多层空间特征融合三维人体姿态估计图卷积网络 Transformer 轻量型

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于多特征提取的三维人体姿态估计算法

微电子学与计算机 2024年

作者：葛森林高浩南京邮电大学自动化学院人工智能学院

作为人工智能计算机视觉领域一项重要的任务，三维人体姿态估计受到了广泛的关注并在人机交互、电影游戏制作等领域产生了许多应用。然而，3D人体姿态估计仍然面临着很大的挑战，主要是人体遮挡问题和数据集视角冗余问题，这些问题严重... 详细信息

作为人工智能计算机视觉领域一项重要的任务，三维人体姿态估计受到了广泛的关注并在人机交互、电影游戏制作等领域产生了许多应用。然而，3D人体姿态估计仍然面临着很大的挑战，主要是人体遮挡问题和数据集视角冗余问题，这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的三维人体姿态估计方法，首先通过采集多个相机视角下的图片数据，将所采图片数据放入2D人体关节点检测网络模型中，得到人体2D关节点，接着将采集到的人体数据输入到关节点置信度计算网络模型，得到视角图片中各个关节点的权重值，随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重，将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图，最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中，映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重，同时提取了反映热图特征质量的权重矩阵，以提高遮挡视图中热图的特征质量，此外，使用感知哈希算法对Occlusion-Person数据集进行去视角实验，在保证结果准确性的同时提高了模型推理速度。本文方法是端到端可微的，可以显著的提高算法效率和鲁棒性。本文在Human3.6M和Occlusion-Person两个公共数据集上使用MPJPE指标对该方法进行评估，分别取得27.3mm和9.7mm的结果。实验结果表明，该算法与最先进的方法相比，性能获得了显著的提升。

关键词：三维人体姿态估计多视角多特征融合端到端