检索结果-南通市图书馆

作者：闫月桂林电子科技大学

学位级别：硕士

动作识别是计算机视觉领域一个具有代表性的研究方向,在智能监控、人机交互、智慧医疗等领域具有潜在的应用价值。动作识别的关键任务是提取视频中人体动作的运动特征,然而视频中动作差异较大、速度不一,如何有效地表征其运动信息仍然... 详细信息

动作识别是计算机视觉领域一个具有代表性的研究方向,在智能监控、人机交互、智慧医疗等领域具有潜在的应用价值。动作识别的关键任务是提取视频中人体动作的运动特征,然而视频中动作差异较大、速度不一,如何有效地表征其运动信息仍然是学者们的一个研究难点。传统的手工设计特征方法工作难度大且识别率较低,基于深度学习的方法能够充分挖掘视频中的特征信息,快速预测视频中的动作类别,但目前仍存在着识别率不高、计算代价大的问题。本文研究了基于深度学习的视频动作识别方法,具体研究内容包括:（1）针对基于深度学习的动作识别方法只关注长期时间结构建模,缺乏短期时间结构表达,从而影响识别精度的问题,以及网络参数数目众多、算法计算复杂等问题,本文提出了基于长短期时序建模的动作识别方法,首先在不同时间尺度下构建了不同的时间流模型,获得模型得分,然后沿着空间维度学习空间流的模型得分,接着构建一个多流动作识别模型融合时空特征,最后按权重分配融合各流输出得到动作分类结果。该方法在数据集UCF-101和HMDB-51中进行了实验评估,实验结果表明识别精度较基准模型TSN（Temporal Segment Networks,TSN）分别提升了4.3%和8.7%,并且减少了40.1%～68.5%的计算代价。（2）针对细粒度动作运动特征提取困难、识别率低的问题,为了进一步提高视频中动作的识别精度,本文提出了基于运动信息特征图的动作识别方法,首先提出了一种运动信息的计算方法,称为运动信息特征图,然后探索了该方法的最佳实现方案。最后利用运动信息特征图将多帧运动信息聚集成一帧运动特征图,并且与现有的CNN（Convolutional Neural Network,CNN）结合提高动作识别准确率,有效增强模型对视频中细粒度动作的识别能力。在两个大规模人体动作识别数据集NTU RGB+D和NTU RGB+D 120上的大量实验,验证了该方法在有限的计算代价下,较基准模型TSM（Temporal Shift Module,TSM）动作识别率提升了2.2%～3.0%,并在识别细粒度动作上显现出了独特优势。

关键词：视频动作识别多流网络运动特征细粒度动作卷积神经网络

基于时空交互Transformer的视频动作识别算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空交互Transformer的视频动作识别算法研究

作者：李洵松电子科技大学

学位级别：硕士

作为计算机视觉领域中的一项经典任务,视频动作识别一直受到研究人员的广泛关注。近年来,动作识别算法逐渐从全图层级提取视频整体的时空特征,发展到更为精细的物体层级建模。通过以物体为中心表示的动作建模,可以取得更好的动作识别性... 详细信息

作为计算机视觉领域中的一项经典任务,视频动作识别一直受到研究人员的广泛关注。近年来,动作识别算法逐渐从全图层级提取视频整体的时空特征,发展到更为精细的物体层级建模。通过以物体为中心表示的动作建模,可以取得更好的动作识别性能以及泛化能力。目前,以物体中心表示的动作识别模型通常由两个阶段组成:逐帧的物体检测以及物体关系建模。然而,采取这种顺序和分离式的架构,限制了模型的有效性和效率。其中,有效性体现在,基于图片训练的检测器难以区分画面中的交互相关物体和无关物体,可能引入交互无关的背景物体噪声,从而影响关系建模模块得到精确的交互表示;效率体现在,训练阶段需要分别学习检测和动作识别模型,推理阶段又需要将视频输入帧分别送入这两个模型进行前向计算,导致更高的训练成本和计算代价。为了解决上述问题,本文提出了一个基于时空交互的视频Transformer模型,通过加入查询向量检测视频物体,实现端到端的以物体为中心建模的动作识别。除此之外,本文提出一个基于时空关系的物体交互性预测模块(Spatio-Temporal Interactiveness Prediction,STIP),对交互无关物体的信息进行抑制,实现更精确的交互建模,进一步提升动作识别性能。本文提出的方法在Something-Else和Ikea Assembly两个数据集进行了实验,均取得了优于其他最先进方法的结果。进一步地,本文通过实验分析,说明了物体交互性知识对于物体层级动作建模的关键作用,同时通过消融实验,验证了方法中不同部件的有效性。

关键词：视频动作识别人物交互识别视觉Transformer

基于视觉Transformer的视频动作识别方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于视觉Transformer的视频动作识别方法研究

作者：景彦豪华东师范大学

学位级别：硕士

视频动作识别是计算机视觉领域中重要的研究内容之一。近年来,基于Transformer的模型已经成为计算机视觉领域的研究重点。基于Transformer的视频动作识别任务依旧面临着严峻的挑战:首先,视频中包含了丰富的信息,光流以及骨骼特征都可以... 详细信息

视频动作识别是计算机视觉领域中重要的研究内容之一。近年来,基于Transformer的模型已经成为计算机视觉领域的研究重点。基于Transformer的视频动作识别任务依旧面临着严峻的挑战:首先,视频中包含了丰富的信息,光流以及骨骼特征都可以被运用到模型中,如何在Transformer中有效运用这些信息,是目前研究的一个难点;其次,视频模态与自然语言模态有巨大的区别,视频数据建模方式的选择,将在很大程度上影响模型的表现;最后,如何获取视频中的细节信息,过滤掉视频中的冗余信息,进行视频细粒度的动作分类也是一个重要难点。本文结合视觉Transformer技术与双通路卷积神经网络的设计理念,提出了多种模型来研究视频动作识别。本文的主要工作包括:1.提出了融合骨骼特征的视觉Transformer(SF-ViT)的动作识别方法。本文通过Transformer模型的token化手段,完成了视频的RGB输入与骨骼点输入的嵌入,并有效融合RGB与骨骼特征,建立空间-时间Transformer结构来实现视频的动作分类。验证了骨骼数据与RGB融合在Transformer架构中的可行性。2.提出了双通路视觉Transformer(TP-ViT)的动作识别方法。本文创造性地将空间通路一分为二,在不同通路输入不同的视频采样,通过横向连接融合两个通路的特征。利用第二通路来捕获更多时间维度的语义信息,提升了模型的性能表现。3.提出了屏蔽采样与非对称自注意力预训练方法。本文通过屏蔽采样来使第二通路具备细节获取的能力,以完成细粒度动作分类的任务。同时本文通过构建非平衡的图像重建网络对第二通路进行预训练,这种预训练能够与屏蔽采样的方法相适应,在缩短训练时间的同时,提升其正确捕获视频细节的能力。本文的方法在Kinetics和FinGym数据集上完成相关实验。在模型结构优化的过程中,本文提出的方法获得了不断提升的实验表现,取得了优于当前主流方法的实验结果,同时验证了本文方法的有效性。

关键词：视频动作识别视觉Transformer 骨骼点动作识别深度学习

基于高低层特征融合与卷积注意力机制的视频动作识别方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于高低层特征融合与卷积注意力机制的视频动作识别方法研究

作者：王洁然华中科技大学

学位级别：硕士

随着计算机网络的普及和智慧城市建设的深入,视频逐渐成为城市数据中主要的数据载体之一。由于视频内容的复杂性,基于视频的动作识别往往存在识别难度大、精度低等问题。论文从提升视频动作识别精度的角度出发,以时序分割网络(TSN,Tempo... 详细信息

随着计算机网络的普及和智慧城市建设的深入,视频逐渐成为城市数据中主要的数据载体之一。由于视频内容的复杂性,基于视频的动作识别往往存在识别难度大、精度低等问题。论文从提升视频动作识别精度的角度出发,以时序分割网络(TSN,Temporal Segment Networks)为框架,在增强特征表达能力与提升视频内容显著性两个层面,提出了多种视频动作识别的改进方法。论文针对动作视频中运动目标多尺度的问题,提出了两种基于高低层特征融合的视频动作识别方法,分别为基于自顶向下特征融合的视频动作识别方法和基于自底向上特征融合的视频动作识别方法。两种方法在UCF101(split1)的测试集上的多模态融合后的动作识别准确率分别达到了93.9%和94.5%,分别比同等条件下未进行特征融合的TSN方法的准确率提高了1.6%和2.2%。为了提升视频内容的显著性,论文提出了一种基于卷积注意力机制的视频动作识别方法。论文设计了一种全卷积结构的注意力机制来捕捉视频动作的显著区域。该结构对比当前已有的基于循环网络结构的注意力机制具有降低训练难度并且易于与多种基础网络相耦合的优点。最终,该方法在UCF101和HMDB51数据集上多模态融合后的动作识别准确率分别为95.0%和71.6%,分别比同等实验条件下未嵌入注意力机制的TSN方法的动作识别准确率提高了0.8%和2.2%。在已提出的卷积注意力结构的基础上,论文提出了一种基于多级注意力机制网络的视频动作识别方法。该方法具有在多个层级中精确捕捉视频显著区域的效果。最终,该方法在UCF101(split1)和HMDB51(split1)数据集上多模态融合后的动作识别准确率分别为94.4%和72.0%,比基于卷积注意力机制的视频动作识别方法提高0.1%和0.4%,比未嵌入注意力机制的TSN方法提高2.1%和2.1%。动作识别准确率的提升验证了该方法在视频动作识别上的有效性。

关键词：视频动作识别高低层特征融合自顶向下自底向上卷积注意力机制多级注意力机制网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的视频动作识别方法研究与应用

基于深度学习的视频动作识别方法研究与应用

作者：谈伟峰南京邮电大学

学位级别：硕士

随着深度学习的发展,视频动作识别的性能大幅提升,并在现实生活中得到广泛应用。然而现有方法通常因为建模视频动作时序信息而导致模型复杂度变高、计算成本增加;同时,随着越来越多长而复杂的视频数据集被提出,长期动作的时间维度更长... 详细信息

随着深度学习的发展,视频动作识别的性能大幅提升,并在现实生活中得到广泛应用。然而现有方法通常因为建模视频动作时序信息而导致模型复杂度变高、计算成本增加;同时,随着越来越多长而复杂的视频数据集被提出,长期动作的时间维度更长、运动信息更复杂,这给现有方法在捕获整个时间范围内长期依赖关系方面带来了新的挑战,且现有方法忽略了空间和时间信息之间的联系;此外,网络结构越来越深的视频动作识别模型与规模较小的数据集的冲突日益严重,且现有数据集中视频数据通常较为理想,然而现有数据增强方法在提升模型泛化能力和鲁棒性时存在重要目标语义信息丢失等问题。因此,本文针对视频动作时序特征学习、长期动作识别和数据增强分别提出了新的方法,主要工作如下:(1)针对时序信息建模导致模型复杂度变高、计算成本增加的问题,提出一种基于动态时序移位的视频动作时序特征学习方法。不同通道维度上特征间的联系存在差异,选择联系紧密的通道特征进行时序移位,可获得有效的交互信息。于是构建双层全连接,学习每个通道上不同时间维度上特征间的关系,获得不同层次通道的注意力分布;然后设计动态时序移位模块(DTSM),动态选择注意力值大于阈值的通道,沿着时间维度进行时序移位以获得时序特征;最后固定双层全连接的网络参数用于学习全局时空特征,并与时序特征融合以增强动作特征表示。该方法在短而均匀的数据集上提升了识别精度,模型复杂度较低。(2)针对现有方法无法捕获长期动作的长期依赖关系,分割长期动作空间和时间信息间的联系等问题,提出基于Two-MLPs的长期动作识别方法。设计由多层感知机(MLP)组成的网络层,分别从空间和时间维度捕获长期动作特征的长期依赖关系,且MLP摒弃了归纳偏置,实现网络完全自主学习;在损失函数中添加范数惩罚项,约束网络学习方向以探索空间和时间信息的联系,并利用近端梯度下降算法解决非凸规划问题。该方法在长而复杂的数据集上取得了较好的长期动作识别精度,且实验验证了空间和时间信息间联系的有效性。(3)针对现有数据增强方法在缓解过拟合问题时,出现CNN平移不变性、重要目标语义信息丢失等问题,提出基于改进边界框回归的视频数据增方法。首先提出新的衡量指标SIo U并引入Beta分布以改进现有边界框回归方法;然后搭建数据增强网络,捕获原图像中目标区域并对原图像进行初步增强,将目标区域复制到初步增强后的图像中,生成新的样本,避免了重要目标语义信息的丢失。实验验证了该方法能够提升现有视频动作识别方法的性能。

关键词：深度学习视频动作识别时序建模多层感知机数据增强边界框回归

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多流网络架构的视频动作识别

基于多流网络架构的视频动作识别

作者：汪江浙江工商大学

学位级别：硕士

作为计算机视觉领域研究方向之一的视频动作识别,被广泛应用于视频监控、智慧医疗、智能交通、人机交互等领域。视频识别任务的关键是提取视频中动作的运动特征,而视频中常常存在杂乱、无关的背景对象,这可能影响对视频行为的识别。此外... 详细信息

作为计算机视觉领域研究方向之一的视频动作识别,被广泛应用于视频监控、智慧医疗、智能交通、人机交互等领域。视频识别任务的关键是提取视频中动作的运动特征,而视频中常常存在杂乱、无关的背景对象,这可能影响对视频行为的识别。此外,当视频中存在目标遮挡、光照变化和摄像机运动等复杂情况时,对目标特征信息造成影响,从而影响识别准确率。针对这些问题,本文提出了基于深度学习的视频动作识别方法,具体研究方法如下:本文提出了一种基于时空目标显著性的多流乘法器ResNets(STOMM-ResNets)用于动作识别。STOMM-ResNets模型由三个交互流组成:外观流、运动流和时空目标显著性流。与传统的双流CNN模型类似,外观流和运动流分别负责捕获外观信息和运动信息,而时空目标显著性流负责捕获时空目标显著信息。另外,为了有效利用不同流之间的时空交互信息,模型在三个不同流之间建立交互连接,取代了一般在最后输出层的信息融合,分别注入了两种不同的乘法连接,第一种是从运动流向外观流注入乘法连接,第二种是从时空目标显著性流向外观流注入乘法连接。STOMM-ResNets模型在两个标准视频动作识别数据集UCF101和HMDB51上进行了实验,实验结果验证了模型的有效性。本文提出了一种新颖的基于时空目标显著性的多流ResNets-LSTM(STOM-LSTM),它结合了三个流(即空间流、时间流和时空显着性流)用于视频动作识别,该方法可以捕获视频中时空对象的前景信息,抑制背景信息。此外,为了捕捉连续视频帧之间的时间长期依赖关系,我们在基于时空目标显著性的多流ResNets基础上,使用注意力机制的LSTM方法进行动作识别。STOM-LSTM模型首先将利用深度卷积神经网络(CNN)特征提取器提取特征信息,然后将三个注意力感知LSTM与之结合,从而来实现捕获连续视频帧、光流帧和时空目标显著帧之间的时间长期依赖关系。STOM-LSTM分别在UCF-101和HMDB-51数据集进行了实验,与STOMM-ResNets和其他模型方法进行了比较,在相同数据集中取得了与STOMM-ResNets相接近的准确率以及优于其他模型方法的准确率,结果表明本文提出的STOM-LSTM方法模型具有良好的表现力。

关键词：视频动作识别多流时空目标显著性时空交互信息自注意力机制长短期记忆网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运动多粒度表征的视频动作识别算法研究

基于运动多粒度表征的视频动作识别算法研究

作者：程灿中原工学院

学位级别：硕士

由于动作视频数据采集受拍照角度不统一,逆光拍摄,镜头晃动等不可控因素的影响较大,存在视频噪声和动作起始时间不一致等问题,故视频动作识别是一项极具挑战的计算机视觉任务。又因为动作视频的运动语义内容复杂,即需要关注各运动主体... 详细信息

由于动作视频数据采集受拍照角度不统一,逆光拍摄,镜头晃动等不可控因素的影响较大,存在视频噪声和动作起始时间不一致等问题,故视频动作识别是一项极具挑战的计算机视觉任务。又因为动作视频的运动语义内容复杂,即需要关注各运动主体客体的运动模式和交互关系来学习运动表征,因此越来越多的研究者开始关注如何在视频中有效提取时空运动信息。传统视频动作识别算法使用手工设计的特征并结合分类器进行动作分类和识别,但对于复杂的动作场景和变化较大的运动具有局限性。现有的基于深度神经网络的视频动作识别算法存在着对时空表征的提取和学习不充分的问题。本文显式考虑多种粒度的动作状态并隐式捕捉各动作主体客体的运动表征,从联合粗-细粒度时空表征学习、基于生物视觉识别机理的动作理解、多粒度时空位置表征编码、长距离上下文时空图结构关系四个方面出发构建本文的视频动作识别模型,对基于运动多粒度时空表征学习的视频动作识别算法进行研究:(1)本文提出了一种基于联合粗粒度及细粒度时空特征学习的视频动作识别算法。主要解决在背景噪声下有效动作语义特征学习问题。该算法模型直观考虑不同粒度的动作模式,采用联合时空建模的方式设计不同侧重的时空模块来有效学习因对时空轴不同时间尺度和空间运动变化建模不全面而忽略的关键运动模式。首先通过对全局时空结构和不同时间尺度进行粗粒度感知学习明显的运动变化,其次利用帧内远距离方向依赖学习运动对象的细粒度位置信息,最后通过自适应重新校准运动微单元之间的相互依赖关系来学习帧间的细粒度运动信号。在四个大规模数据集上的实验结果表明,所提出的方法相比于现有的先进方法,能够更好的学习到有效的动作语义特征,并且可以抑制部分静态和动态的视频背景噪声。消融结果表明各模块之间可以关注互补的运动模式并可通过模块的叠加逐步纠正对动作特征的学习。(2)本文提出了一种基于生物视觉识别机理与时空表征学习的视频动作识别算法。主要解决细粒度运动表征学习和动作理解问题。该算法模型通过模拟生物视觉识别的两条视觉通路(即“自上而下”通路和“自下而上”通路)建立理解运动主客体运动表征的视觉认知网络。该算法模型首先通过自下而上的帧间时空表征感知协调模块来捕获短期运动信号和细粒度运动特征,进而采用基于Transformer架构的自上而下的细粒度时空上下文联合模块捕捉全面的长期时间依赖关系,从而建立完整的运动关联来感知跨视频帧的运动表征。最后利用多级特征融合细化结构将主干网络中各级局部和全局特征进行融合,从而得到该算法的完整识别网络。实验结果表明与现有方法相比,模型相对轻量并得到了不错的精度结果,消融实验结果也可以证明各模块的有效性。因此可以论证所提算法模型可以有效对细粒度的运动表征进行学习。(3)本文提出了一种基于多粒度动态时空位置表征编码的视频动作识别算法。该算法模型主要解决不同种类动作之间高度相似和短期运动变化细微的问题,首先通过多粒度时空敏感表征学习模块学习局部时空管特征以及微小的动作位移信息,其次动态时空位置编码调整模块显式考虑运动主客体的交互信息,将其与高级运动语义进行融合。此外该算法模型采用局部-全局方式构建主干网络,通过层层提取浅层运动外观信息和深层复杂运动语义信息,最终利用基于上下文运动关系编码的时空模块进行信息融合,采用更小的补丁来编码帧间和跨帧之间的细粒度运动特征。对比实验以及消融实验表明细粒度动作语义的时空信息编码有益于理解动作语义特征及提高动作间的辨时度。(4)本文提出了一种基于多尺度时空聚合与细粒度上下文运动图表征的视频动作识别算法。该算法主要解决真实世界动作样本分类不均衡,动作时长不一致导致的运动表征学习不完整的问题。模型采用双分支结构,将视频帧中显著区域作为节点建立动态时空图结构来加强动作语义表征的学习。首先多尺度时空聚合模块主要通过学习不同尺度的时空特征来完成对动作视频的初步感知,用于主干分支对不同层次的运动特征进行聚合。而另一分支则是利用高级语义提取有效的上下文时空信息以及长距离时空结构信息,其中基于视觉Transformer的上下文时空联合模块,考虑完整的时空结构,将时空序列作为时空补丁进行时空序列的全局学习。最终运动语义图结构捕捉模块将每个视频帧上的运动显著区域作为节点构建空间位置图结构,并考虑时间维度串联整个时空图结构来学习纯粹动作表征。该算法模型可以有效学习较完整的时空信息来提升识别精度。

关键词：视频动作识别运动表征上下文时空关系图结构细粒度问题

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于双流网络的视频动作识别方法研究

基于双流网络的视频动作识别方法研究

作者：熊贤强广西大学

学位级别：硕士

视频动作识别是计算机视觉研究中一个具有代表性的任务,其目标是通过分析视频中的时空信息,识别出预定义的关于人类动作的语义标签,是一个视频分类问题。随着深度学习研究的迅速发展以及硬件设备性能的不断提高,视频动作识别研究取得了... 详细信息

视频动作识别是计算机视觉研究中一个具有代表性的任务,其目标是通过分析视频中的时空信息,识别出预定义的关于人类动作的语义标签,是一个视频分类问题。随着深度学习研究的迅速发展以及硬件设备性能的不断提高,视频动作识别研究取得了巨大的进步,提出了许多成功的网络模型用于动作特征的提取和分类;同时,视频动作识别研究仍然面临着许多的挑战,还无法达到人类的识别性能。双流网络是视频动作识别研究中使用最广泛、最有效的方法框架之一。然而,传统的双流网络无法对长时间尺度的运动信息进行建模,同时缺乏时空特征的交互。为了对视频中的时空信息进行有效的建模,提出了两种基于双流网络的视频动作识别网络模型,分别采用不同的方法对传统的双流网络架构中两个方面的不足进行了优化。主要内容如下:为了实现对视频长时间序列的建模,提出了两种方法构建时空残差网络,将二维空间残差网络扩展到三维时空域。方法分别通过基于残差缩放和基于恒等映射的方式构造时空残差单元,以实现局部的时序连接;再通过构造多个时空残差单元的叠加构建时空残差网络,随着网络深度的增加,实现对全局运动信息的建模。实验分析了时空残差网络的构造方式以及时间卷积核的初始化方法对网络模型性能的影响,结果表明,相比较局部的时空特征,利用全局时空特征进行视频动作识别任务更加有效。为了实现双流网络时空特征的交互,分别引入了两种不同的跨流交互策略,在多个抽象尺度上实现了双流网络的融合。方法分别通过加法交互和乘法交互的方式构建双流网络的交互连接,以学习有效的时空关联特征。实验分析了不同交互方式对网络模型性能的影响,结果表明,有效的跨流交互方式能够进一步提升双流网络的性能。在视频动作识别基准数据集UCF101和HMDB51上对提出的改进策略进行了实验及评估。实验结果表明,本文所采用的方法能够有效提升网络模型的识别性能,改善传统双流网络对视频时空信息的建模能力。

关键词：视频动作识别双流网络双流融合网络时空残差网络加法交互乘法交互

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空特征建模的视频动作识别方法研究

基于时空特征建模的视频动作识别方法研究

作者：于亚威江西理工大学

学位级别：硕士

视频动作识别作为计算机视觉中研究热点较高的课题在智能视频监控、医疗监护、自动驾驶等领域具有广泛的应用价值。但是由于现实环境下存在复杂背景、相机移动以及行为中人体姿态变化等多种因素,让视频动作识别任务变得更具挑战性。本... 详细信息

视频动作识别作为计算机视觉中研究热点较高的课题在智能视频监控、医疗监护、自动驾驶等领域具有广泛的应用价值。但是由于现实环境下存在复杂背景、相机移动以及行为中人体姿态变化等多种因素,让视频动作识别任务变得更具挑战性。本文通过采用时空特征建模的方式来解决动作识别中目前存在的问题。主要研究内容如下:(1)本文首先对视频动作识别任务分成两个大类进行综述:基于手动提取特征的动作识别方法和基于深度学习的动作识别方法。其中,又将手动提取特征的方法细分为整体特征和局部特征,将深度学习的方法分为基于双流卷积网络、3D卷积网络、循环神经网络和Transformer的方法,通过对当前视频动作识别方法的总结对比分析以供相关研究者参考。(2)由于双流网络中光流信息缺乏捕获长距离时间关系的能力,3D卷积网络参数量多且收敛缓慢,为了学习更加完善的时空特征,本文提出一种基于注意力的多维度特征激励融合网络解决时序特征表达学习问题,利用运动补足激励模块建模时序特征,激发时间通道运动信息;同时利用联合特征激励模块,通过时序特征激励通道和空间信息,以学习到更好的时空特征表达。MFARs在UCF101和HMDB51数据集上分别取得了96.5%和73.6%的结果。通过与当前的主流行为识别模型比较,提出的多维特征激励方法能够有效地表达时空特征,获得更好的复杂度和分类准确率平衡。(3)为了解决3D卷积网络和Transformer方法中计算量复杂和参数量大的问题,本文在2D卷积的基础上引入自注意力机制,设计长短时时序特征融合网络来建模时序特征。通过不同的模块分别建模长短时的时空特征,抑制背景等无关信息,聚焦运动区域,从而提高视频动作识别的准确率。并在两个不同的数据集UCF101和SomethingSomething V1上验证模型的有效性,通过消融实验分析得出结论,该网络能够在动作识别任务中具有提高分类准确率的能力。

关键词：视频动作识别深度学习卷积网络注意力机制视频特征表达

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空关系图网络的视频动作识别研究

基于时空关系图网络的视频动作识别研究

作者：耿甜甜电子科技大学

学位级别：硕士

视频动作识别作为视频理解的主要研究任务之一,在智能监控、自动驾驶、人机交互等领域有着广泛的应用。近年来,随着深度学习技术的发展,视频动作识别取得了很多突破性的进展。但由于视频不同于图像,由很多连续的帧组成,且序列信息存在... 详细信息

视频动作识别作为视频理解的主要研究任务之一,在智能监控、自动驾驶、人机交互等领域有着广泛的应用。近年来,随着深度学习技术的发展,视频动作识别取得了很多突破性的进展。但由于视频不同于图像,由很多连续的帧组成,且序列信息存在很大的冗余性,因此如何对视频帧间的关系进行充分建模、如何选择视频中的关键信息以降低冗余并抑制噪声,以及如何对视频中不同尺度的序列关系进行充分挖掘都十分关键。本文分别针对上述三个方面的问题,提出了三种高效的算法机制,并将其进行有机结合构建了基于金字塔时空图网络的视频动作识别模型,对现有方法进行改进。三种算法机制之间是互补的关系,具体如下:1、基于图卷积网络的长距离时空关系建模。针对现有模型仅使用卷积等局部操作来提取帧的特征,无法对视频帧与帧之间的长距离时空关系进行有效建模的问题。本文提出在视频序列的时间以及时空维度分别构建图卷积网络来对视频帧与帧之间、帧内及跨帧各区域之间的长距离时空关系进行建模,从而得到更有利于分类的动作表征。实验表明,将提出的方法在大规模动作识别数据集上与多个基准模型相结合,可获得显著的性能提升,证明了图卷积网络在视频动作识别任务中用于长距离时空关系建模的有效性。2、基于时空注意力机制的关键特征选择。针对现有模型对视频所有输入帧均给予相同的权重,无法对重要信息进行筛选,使得模型容易受到无关信息的干扰并造成信息冗余的问题。本文提出时间以及时空注意力模块,在时间以及时空维度上促使网络分别对动作分类重要的帧以及时空区域给予较大的关注。实验表明,提出的注意力模块使得网络更加关注对动作识别重要的特征,从而避免了噪声干扰与信息冗余,有效提升模型性能。3、基于多尺度特征金字塔的特征融合。针对单尺度模型感受野单一,无法对视频序列中不同尺度的特征关系进行充分挖掘和融合的问题。本文提出在视频序列上构建多尺度特征金字塔的方法,依据上述提出的注意力模块给予每帧及每个时空区域的不同权重,多次选择不同数量的重要特征在时间及时空维度得到多尺度的特征组合,并对其进行融合来进一步提升模型的特征理解能力。在多个大规模视频动作识别数据集上的大量实验表明,该方法可以有效地增大网络的感受野,对不同尺度的关键特征进行充分融合,进一步提升模型性能。

关键词：视频动作识别图卷积网络时空注意力多尺度特征金字塔