检索结果-南通市图书馆

中国图象图形学报 2023年第4期28卷 1041-1055页

作者：施海勇侯振杰巢新钟卓锟常州大学计算机与人工智能学院常州213164

目的在人体行为识别研究中,利用多模态方法将深度数据与骨骼数据相融合,可有效提高动作的识别率。针对深度图像信息数据量大、冗余度高等问题,提出一种通过获取关键时程信息动作帧序列降低冗余的算法,即质心运动路径松弛算法,并根据不... 详细信息

目的在人体行为识别研究中,利用多模态方法将深度数据与骨骼数据相融合,可有效提高动作的识别率。针对深度图像信息数据量大、冗余度高等问题,提出一种通过获取关键时程信息动作帧序列降低冗余的算法,即质心运动路径松弛算法,并根据不同模态数据的特点,提出一种新的时空特征表示方法。方法质心运动路径松弛算法根据质心在相邻帧之间的运动距离,计算图像差分后获得的活跃部分的相似系数,然后剔除掉相似度高的帧,获得足以表达行为的关键时程信息。根据图像动态部分的变化特性、人体各部分在运动中的协同性和局部显著性特征构建一种新的时空特征表示方法。结果在MSR-Action3D数据集上对本文方法的效果进行验证。在3个子集中进行交叉验证的平均分类识别率为95.7432%,分别比Multi-fused,CovP3DJ,D3D-LSTM(densely connected 3DCNN and long short-term memory),Joint Subset Selection方法高2.4432%,4.7632%,0.3432%,0.2132%。本文方法在使用完整数据集的扩展实验中进行交叉验证的分类识别率为93.0403%,具有很好的鲁棒性。结论实验结果表明,本文提出的去冗余算法在降低冗余后提升了识别效果,提取的特征之间具有相关性低的特点,在组合识别中具有良好的互补性,有效提高了分类识别的精确度。

关键词：行为识别质心运动关键时程信息时空特征表示多模态融合

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于RGB-D特征融合学习的人体行为识别方法研究

基于RGB-D特征融合学习的人体行为识别方法研究

引用

作者：肖雄江东莞理工学院

学位级别：硕士

人体行为识别是计算机视觉领域内的一个关键研究方向,它专注于从视频序列中识别和理解人体行为。这项技术在智能监控、医疗保健、虚拟现实等多个应用中展现了巨大的潜力。近年来,得益于计算机处理能力的显著提升以及互联网数据的急剧膨... 详细信息

人体行为识别是计算机视觉领域内的一个关键研究方向,它专注于从视频序列中识别和理解人体行为。这项技术在智能监控、医疗保健、虚拟现实等多个应用中展现了巨大的潜力。近年来,得益于计算机处理能力的显著提升以及互联网数据的急剧膨胀,基于深度学习的人体行为识别方法已经激起了广泛的兴趣。尽管利用深度学习的方法在人体行为识别领域取得了显著优势,但仍面临一些问题需要解决:(1)人体行为识别的核心在于学习时空特征。尽管2D深度神经网络在提取视频内空间信息方面表现出色,但缺乏直接的时间信息建模;(2)复杂且动态变化的场景对人体行为识别的影响尤为显著,而传统的双流网络模型在构建时空信息以及处理多模态互补信息时存在局限性;(3)3D CNN在建模长距离依赖性方面受到卷积核感受野的阻碍。同时,Transformer在编码局部的时空特征,特别是在浅层网络中,显示出的效率较为低下。针对上述问题,本文展开了深入的算法研究。主要研究工作包括:(1)针对基于Swin Transformer的动作识别方法在视频中提取时空特征方面效率不足,提出了RGB时序移位和Optical Flow时序移位模块,通过沿着时间维度移动部分通道来增强时间维度特征。在四个公共数据集上进行评估,结果表明该算法能有效地提高时间信息的建模能力。(2)针对传统双流网络结构对时间信息的处理能力不足,提出了一种基于Swin Transformer的慢快路径结构,并通过多个交叉熵损失函数进行联合优化学习。该结构充分考虑了RGB和depth序列信息在时间和空间上的差异性,其中慢速通道在采样时采用了较大的时间跨度来捕获长时间的运动信息,而快速通道则采用较小的时间跨度来捕获快速变化的细节。另外,针对人体行为识别中环境的复杂性和多样性问题,提出了一个多模态补偿模块。通过在四个大型数据集上与现有研究方法进行比较,结果表明该算法能显著提高识别性能。(3)针对3D CNN在建模远程依赖性方面的有效性受阻碍,且视觉领域中Transformer在浅层中编码局部的空特征时效率较低,提出了一种分层集成的混合网络Pose Transformer。该网络模型巧妙地结合了3D CNN和时空自注意力机制的优点,在计算量和准确率之间取得了理想的平衡。为了进一步提高模型的泛化能力,将该网络模型扩展为RGB-Pose Transformer,用于多模态动作识别。RGB-Pose Transformer通过两条不对称的路径来处理不同尺寸的Pose和RGB数据,以此有效地降低计算量。与Pose路径相比,RGB路径具有更宽的网络通道、更深的网络层和更高的输入空间分辨率。此外,为促进网络模型中两条路径之间的早期特征融合,RGB-Pose Transformer还引入了全局交叉互补块(GCCB)。在四个大型数据集上与现有研究方法的比较以及一系列消融实验,展示了所提出算法的优势。

关键词：人体行为识别卷积神经网络注意力机制多模态时空特征表示

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空特征增强的视频行人重识别方法研究

基于时空特征增强的视频行人重识别方法研究

引用

作者：廖亚樵辽宁科技大学

学位级别：硕士

行人重识别在社会公共安全方面和智慧城市中发挥重要作用,且是实现视频监控智能化不可或缺的一部分。在实际场景中,相机无法获取到人脸信息以及分辨率不高时,利用行人重识别算法可以继续对目标的身份进行判定。在计算机视觉领域有着重... 详细信息

行人重识别在社会公共安全方面和智慧城市中发挥重要作用,且是实现视频监控智能化不可或缺的一部分。在实际场景中,相机无法获取到人脸信息以及分辨率不高时,利用行人重识别算法可以继续对目标的身份进行判定。在计算机视觉领域有着重要的学术研究价值,同时也在公共场合智能安防和智能寻人、无人商场、人机交互以及智能相册等等领域下展现重要的应用价值。目前,基于图像的行人重识别算法已经取得了令人鼓舞的性能。而基于视频的行人重识别,由于其包含了丰富的时空信息而吸引越来越多研究人员关注。现实场景中采集到的行人视频数据中,存在行人遮挡、背景物干扰,以及行人外观、姿势相似性等问题,导致模型不能有效地利用行人视频数据中的时空信息提取到更好行人的外观特征表示。本文针对视频行人重识别时空特征提取问题,开展主要工作和研究成果如下:(1)提出一种基于信息瓶颈增强的视频行人重识别方法。考虑到视频行人重识别的数据特点,视频片段的各帧行人图像的内容相似度较高,同时各帧图像中存在背景干扰信息,设计了时空特征优化模块(STIP)优化时空特征中的不相关信息。同时引入信息瓶颈损失,最大化行人时空特征与身份标签的互信息,同时最小化特征与输入之间的互信息,减少噪声干扰,利用了视频中的有效时序信息,从而提升行人重识别的准确率。通过实验进行分析,发现本文提出的方法能显著的改善模型的关注区域,并且能够有效提升识别性能。(2)提出一种基于时空特征匹配注意力视频行人重识别方法,由于卷积操作受到核的大小限制,关注于时间和空间上的局部信息,不能对整个时间和空间上的信息进行感知,而且行人视频中行人处于运动状态以及行人检测器的误差,各帧之间的行人图像不是完全对齐的,直接使用三维卷积操作对时间维度上的行人外观建模造成行人外观特征破坏。引入特征匹配注意力模块提升模型全局信息的接受能力,同时在时间维度上对行人局部辨别性特征进行匹配和关注。针对同时在信息瓶颈增强方法上提出更加通用的信息阀优化框架,对模型进行进一步增强。通过实验验证了本章提出的方法的有效性,模型识别准确率得到提升。

关键词：视频行人重识别时空特征表示信息瓶颈特征匹配注意力

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多特征人体行为表示及识别模型研究

基于多特征人体行为表示及识别模型研究

引用

作者：陈艺天南昌大学

学位级别：硕士

人体行为识别因其广泛的实用性而受到国内外研究人员的持续关注。随着深度学习技术的快速发展,结合深度学习进行人体行为识别成为当下主流方法之一。随着视频采集设备的不断普及,基于单目摄像头的行为识别技术取得了显著成果,然而,此类... 详细信息

人体行为识别因其广泛的实用性而受到国内外研究人员的持续关注。随着深度学习技术的快速发展,结合深度学习进行人体行为识别成为当下主流方法之一。随着视频采集设备的不断普及,基于单目摄像头的行为识别技术取得了显著成果,然而,此类方法由于背景、光照等其它因素的干扰,在有效提高检测准确率上始终存在瓶颈。研究人员虽然提出了背景减除、滤波等一系列方法,但始终难以同时兼顾效率和准确率。此外,人体行为由于种类繁多、提取难度大、标定成本高等原因,导致人体行为训练样本数量不能满足深度学习技术的需求。本文针对上述问题,提出了一种基于深度视频的多特征多尺度人体行为识别模型,并展开了一系列研究,主要工作和成果总结如下:(1)针对基于单目摄像头的行为识别方法难以突破背景、光照、遮挡等瓶颈,本文通过深度视频,提取人体骨架并根据人体生理结构估算被遮挡关节点的方法提取运动信息,略过背景、光照、遮挡等环境因素,实现监控数据与行为人的强关联。通过人体关节点空间信息构建了人体行为表示序列,并基于人体生理结构和运动学等先验知识,设计了一种融合多种特征的人体行为表示三维浮点矩阵。(2)针对采用深度学习技术的行为识别方法因样本不足而导致模型过拟合的问题,提出了一种基于人体生理结构和运动趋势插值的数据增强策略。首先,根据人体骨架在基本结构上一致但在大小比例上不同,采用人体骨架缩放策略对数据进行扩充;其次,在一组行为序列中,将部分连续的时间帧置为空白时间帧,模拟动作片段以扩充数据,并进一步提高模型鲁棒性;再次,基于行为序列,插入与前一个时间帧相似的动作帧,使行为数据在时序尺度更加连贯;最后,将原始数据与增强数据组合形成最终的行为数据。(3)针对人体行为在时间维度上不一致的问题所导致时序多尺度问题,提出了一种多尺度行为识别方法。首先,通过融合提出的三种尺度归一化策略的优缺点的尺度归一化方法,实现人体行为样本的多尺度调整;其次,采用多尺度行为数据的输入,需对神经网络模型的进行多尺度改造,因此,通过引入空间金字塔池化层和全局平均池化层,结合空间金字塔池化层细粒度特征和全局平均池化层的优点,实现基于卷积神经网络的多尺度改造;最后,将行为样本多尺度改造和神经网络模型多尺度改造相结合,最终实现多尺度人体行为识别。

关键词：行为识别深度视频数据增强时空特征表示多尺度学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：