检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

建模交互关系和类别依赖的视频动作检测

中国图象图形学报 2023年第5期28卷 1499-1512页

作者：贺楚景刘钦颖王子磊中国科学技术大学大数据学院合肥230027 中国科学技术大学自动化系合肥230027

目的视频动作检测旨在检测出视频中所有人员的空间位置,并确定其对应的动作类别。现实场景中的视频动作检测主要面临两大问题,一是不同动作执行者之间可能存在交互作用,仅根据本身的区域特征进行动作识别是不准确的;二是一个动作执行者... 详细信息

目的视频动作检测旨在检测出视频中所有人员的空间位置,并确定其对应的动作类别。现实场景中的视频动作检测主要面临两大问题,一是不同动作执行者之间可能存在交互作用,仅根据本身的区域特征进行动作识别是不准确的;二是一个动作执行者在同一时刻可能有多个动作标签,单独预测每个动作类忽视了它们的内在关联。为此,本文提出了一种建模交互关系和类别依赖的视频动作检测方法。方法首先,特征提取部分提取出关键帧中每个动作执行者的区域特征;然后,长短期交互部分设计短期交互模块(short-term interaction module,STIM)和长期交互模块(long-term interaction module,LTIM),分别建模动作执行者之间的短期时空交互和长期时序依赖,特别地,基于空间维度和时间维度的异质性,STIM采用解耦机制针对性地处理空间交互和短期时间交互;最后,为了解决多标签问题,分类器部分设计类别关系模块(class relationship module,CRM)计算类别之间的依赖关系以增强表征,并利用不同模块对分数预测结果的互补性,提出一种双阶段分数融合(two-stage score fusion,TSSF)策略更新最终的概率得分。结果在公开数据集AVA v2.1(atomic visual actions version 2.1)上进行定量和定性分析。定量分析中,以阈值取0.5时的平均精度均值mAP@IoU 0.5(mean average precision@intersection over union 0.5)作为主要评价指标,本文方法在所有测试子类、Human Pose大类、Human-Object Interaction大类和Human-Human Interaction大类上的结果分别为31.0%,50.8%,22.3%,32.5%。与基准模型相比,分别提高了2.8%,2.0%,2.6%,3.6%。与其他主流算法相比,在所有子类上的指标相较于次好算法提高了0.8%;定性分析中,可视化结果一方面表明了本文模型能精准捕捉动作执行者之间的交互关系,另一方面体现了本文在类别依赖建模上的合理性和可靠性。此外,消融实验证明了各个模块的有效性。结论本文提出的建模交互关系和类别依赖的视频动作检测方法能够提升交互类动作的识别效果,并在一定程度上解决了多标签分类问题。

关键词：视频动作检测多标签分类交互关系建模双阶段融合深度学习注意力机制

在线全文

学校读者我要写书评

暂无评论

类别敏感的全局时序关联视频动作检测

中国图象图形学报 2022年第12期27卷 3566-3580页

作者：王东祺赵旭上海交通大学自动化系上海200240

目的视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动... 详细信息

目的视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方法在双流特征下的平均mAP(mean average precision)达到35.58%,优于其他现有方法;在THUMOS-14数据集中,该方法在多种特征下的指标均取得了最佳性能。实验结果表明,类别敏感的逐类检测思路和借助门控循环单元的时序建模方法有效提升了视频动作检测精度。此外,提出的时序关联模块计算量低于使用图卷积建模的其他主流模型,且具备一定的泛化能力。结论提出了类别敏感的全局时序关联视频动作检测模型,实现了更为细化的逐类动作检测,同时借助门控循环单元设计了时序关联模块,提升了视频动作检测的精度。

关键词：视频动作理解视频动作提名视频动作检测卷积神经网络(CNN) 门控循环单元(GRU)

在线全文

学校读者我要写书评

暂无评论

基于深度学习的视频动作检测算法研究

基于深度学习的视频动作检测算法研究

作者：薛茜北京邮电大学

学位级别：硕士

随着互联网多媒体技术的不断发展,网络中的视频数据量急剧增长。因此,对海量视频进行快速、准确的内容理解与分析需求巨大,并逐渐成为计算机视觉领域近年来的研究热点。其中,视频动作检测是视频内容理解的一个重要研究分支,目的是从未... 详细信息

随着互联网多媒体技术的不断发展,网络中的视频数据量急剧增长。因此,对海量视频进行快速、准确的内容理解与分析需求巨大,并逐渐成为计算机视觉领域近年来的研究热点。其中,视频动作检测是视频内容理解的一个重要研究分支,目的是从未经裁剪的视频中检测出动作发生的时间位置,并识别出动作的类别。但是目前的视频动作检测算法存在检测准确率低和检测耗时长的问题。本文通过对现有的视频内容理解领域的相关问题,包括视频动作识别、视频动作候选框生成、视频动作检测进行总结和分析,设计了一个Anchor Free的视频动作检测网络。本文的主要工作及贡献如下:(1)将视频动作分类网络融合在视频动作候选框生成算法的网络结构中,利用网络共享、特征共享,预测一个分类分数的分支,同时得到动作分类结果,降低了算法的时间复杂度。(2)在网络中加入嵌入向量和边界补偿分支,通过预测每一个视频单元的嵌入向量可以匹配到更加准确的视频动作候选框,预测边界补偿以提高视频检测边界结果的精确度。(3)对本文的视频动作检测算法进行具体设计与实现,在视频特征提取模块改进Non-Local模块算法,最后使用Greedy-NMS后处理得到更精确的输出结果。本文的Anchor Free的视频动作检测网络在THUMOS-2014和ActivityNet-1.3数据集上进行测试,实验结果显示准确率提高0.84%和时间性能提高18%,改进的Non-Local模块和Greedy-NMS 后处理模块对算法整体性能也均有提升。

关键词：深度学习视频动作检测 3D卷积光流

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Faster RCNN的视频动作检测

基于Faster RCNN的视频动作检测

作者：贾川川北京工业大学

学位级别：硕士

本文研究视频动作检测,旨在提出一个高检测准确率的动作检测方法。受近年卷积神经网络(Convolutional Neural Networks,CNNs)在图像识别和视频识别领域取得实质性进展的启发,本文动作检测方法也基于卷积神经网络构建和实现。本文动作检... 详细信息

本文研究视频动作检测,旨在提出一个高检测准确率的动作检测方法。受近年卷积神经网络(Convolutional Neural Networks,CNNs)在图像识别和视频识别领域取得实质性进展的启发,本文动作检测方法也基于卷积神经网络构建和实现。本文动作检测方法的工作流程分三个阶段:第一阶段在帧层面运用Faster R-CNN网络获取多个兴趣区域,同时使用该网络分别提取兴趣区域的表观和动作特征;第二阶段在帧层面使用支持向量机(Support Vector Machine,SVM)对兴趣区域进行分类;第三阶段在时序上将分类得分值高的兴趣区域连接并形成竞选管道,再将综合得分最高的竞选管道作为视频最终的动作检测结果。为验证本动作检测方法的有效性,以及检测准确率更高,我们在JHMDB和UCF Sports两个数据集上分别做了实验,与当前最好的运用卷积神经网络构建的动作检测方法进行对比。在覆盖阈值为0.5时,本动作检测方法在两个数据集上的动作检测准确率分别达到60.86%和80.12%,分别提高了7.5和4.3个百分点,检测准确率有了显著提升。本文也给出覆盖阈值为0.6时在这两个数据集上的检测准确率,分别为56.12%和80.12%,仍然比当前最好的方法在取覆盖阈值为0.5时的检测准确率要高,另外本文方法在UCF Sports上的检测准确率仍取得了80.12%,这说明本文方法在要求定位更准确的条件下仍能取得较高的检测准确率。检测准确率更高意味着动作分类误差更小,同时动作定位更精确、检测效果更好。实验结果表明本动作检测方法有效性好,在视频动作检测任务中检测准确率更高,本文提出的动作检测方法具有一定的研究和应用价值。

关键词：图像识别视频识别视频动作检测卷积神经网络

基于区域增强和敏感特征选择的视频动作检测技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于区域增强和敏感特征选择的视频动作检测技术研究

作者：杨杨华中科技大学

学位级别：硕士

视频动作检测是计算机视觉中的重要应用,它包括视频动作分类和视频动作定位两项任务。具体来说,视频检测算法需要在视频中查找每个动作实例发生的起止时间以及该动作的所属类别。视频动作检测在许多实际应用中都起着关键作用,例如,智能... 详细信息

视频动作检测是计算机视觉中的重要应用,它包括视频动作分类和视频动作定位两项任务。具体来说,视频检测算法需要在视频中查找每个动作实例发生的起止时间以及该动作的所属类别。视频动作检测在许多实际应用中都起着关键作用,例如,智能监控,视频检索,体感游戏,医疗健康和智能设备控制。尽管随着深度学习的发展,短视频分类任务取得了巨大的进步。但是在现实场景中,我们面临的更多的是未经过修剪的长视频,视频动作检测仍然是一个更具挑战性的问题。为了解决视频动作中主体区域的提取困难以及视频检测中两个子任务之间存在的内在差异,本文提出了一种基于区域增强和敏感特征选择的视频动作检测结构框架。主要贡献总结如下:(1)提出了基于动作区域选择的自适应增强方法。该方法的核心在于让网络关注视频的动作区域,提升动作区域对视频检测任务的贡献同时抑制干扰区域对检测任务的影响。具体地,通过对抗训练以及代价函数的设计,让网络自主的学习到视频中的动作区域,同时引入了mask机制,引导网络渐进地扩大动作区域的贡献率,提高网络对动作的识别能力。(2)提出了敏感特征选择方法。动作分类的核心在于从众多视频帧中提取关键帧,动作定位任务则要求学习帧与帧之间的相关性。基于两个任务之间的内在差异,本文提出了一种敏感特征选择方法,该方法包含两个子模块来分别完成分类和定位的任务。前者对视频每帧的重要性进行打分,后者对帧与帧之间的相关性进行建模,实验结果表明该模块的设计能够更好的满足视频动作检测任务的需求。综合以上设计,本文提出的模型在THUMOS14数据集上的mAP@0.5达到了38.97%,比基本模型(SSN+BSN)高出2%,相较于基准方法(SSN)提高了5%。同时,实验结果表明,在不同的基础网络上嵌入本文提出的结构模块,均能取得性能的提升。

关键词：视频动作检测区域自适应增强敏感特征选择关键帧图卷积

基于三维卷积和Faster RCNN的视频动作检测技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于三维卷积和Faster RCNN的视频动作检测技术研究

作者：聂相琴北京工业大学

学位级别：硕士

视频动作检测的目标是识别一段视频内容中的动作类别,同时还需预测动作发生的时间边界以及对应的空间位置。随着卷积神经网络在图像分类识别领域取得重大突破以来,众多研究者开始将卷积神经网络引入视频动作检测领域。视频动作检测算法... 详细信息

视频动作检测的目标是识别一段视频内容中的动作类别,同时还需预测动作发生的时间边界以及对应的空间位置。随着卷积神经网络在图像分类识别领域取得重大突破以来,众多研究者开始将卷积神经网络引入视频动作检测领域。视频动作检测算法在视频监控分析和智能家居护理等领域具有着广阔的应用前景。时序动作检测是视频动作检测中一项重要的任务,不仅要在视频内识别出动作的类别,还需要指出动作发生的精确时间段。目前检测效果较好的时序动作检测均将视频转化成图像然后进行分类检测,这些算法忽略了视频帧与帧之间的关联性,因而导致时序动作检测正确率不到20%。针对这个问题,本文的时序动作检测首先采用三维卷积神经网络用于提取视频动作的时空特征,此阶段的时空特征作为共享卷积将用于时间候选框网络和分类网络。然后时间候选框网络借鉴Faster RCNN中RPN网络生成可变长时间段候选框。在这一阶段时间候选框网络在共享卷积特征图的每一个时间位置上使用RPN网络产生k个锚边框,锚边框是以每一个时间位置为中心的预定义多尺度窗口。同时时间候选框网络不仅可以预测每个生成的时间候选框是动作还是背景,而且还能预测时间候选框和视频真实时间候选框的中心位置以及长度的相对位移值。时间候选框网络最终输出的时间候选框根据非极大值抑制策略消除高度重叠以及低置信度的时间候选框,并将同一种时间尺度的时间候选框链接起来。最后分类网络使用3D RoI池化得到固定大小的时间候选框,接着将时间候选框分类成特定的动作类别,并进一步优化时间候选框的时间边界。本文的时序动作检测结果比Shou等人最好的检测结果高6.8%,同时检测速度提高了4倍以上。动作定位是视频动作检测中另一项重要的任务,与时序动作检测不同的是它并不是检测视频动作发生的时间边界,而是检测视频动作发生的空间位置。由于当前的未分割数据集缺乏空间位置标注信息,因而本文的动作定位将使用弱监督方法生成动作的空间位置边框。首先将Faster RCNN网络结构中全连接层替换成卷积层并使用全局平均池化从而得到不同类别的动作激活映射图,接着使用阈值方法得到动作的大致轮廓并细化该动作轮廓。然后根据动作轮廓生成对应轮廓的外部矩形边框,最后将这些外部矩形边框进行排序合并得到动作最终的外部矩形边框,从而实现动作的空间位置定位。本文的动作定位方法是第一个在未分割数据集上实现动作空间定位的方法。

关键词：视频动作检测 Faster RCNN 三维卷积全局平均池化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于区域时空二合一网络的动作检测方法

华东理工大学学报（自然科学版） 2022年第1期48卷 105-111页

作者：汤强朱煜郑兵兵郑婕华东理工大学信息科学与工程学院上海200237

视频动作检测研究是在动作识别的基础上进一步获取动作发生的位置和时间信息。结合RGB空间流和光流时间流,提出了一种基于SSD的区域时空二合一动作检测网络。改进了非局部时空模块,在光流中设计了像素点筛选器来提取运动关键区域信息,... 详细信息

视频动作检测研究是在动作识别的基础上进一步获取动作发生的位置和时间信息。结合RGB空间流和光流时间流,提出了一种基于SSD的区域时空二合一动作检测网络。改进了非局部时空模块,在光流中设计了像素点筛选器来提取运动关键区域信息,只对空间流中筛选出的动作关键区域进行相关性计算,有效获得动作长距离依赖并改善非局部模块计算成本较大的缺陷,同时降低了视频背景噪声的干扰。在基准数据集UCF101-24上进行了实验,结果表明所提出的区域时空二合一网络具有更好的检测性能,视频级别的平均精度(video_AP)达到了43.17%@0.5。

关键词：视频动作检测 SSD 双流网络非局部模块 UCF101-24

在线全文

学校读者我要写书评

暂无评论

基于深度学习的交互动作检测方法

基于深度学习的交互动作检测方法

作者：贺楚景中国科学技术大学

学位级别：硕士

交互动作检测旨在识别人与人之间、人与物体之间发生的交互动作,在许多领域都发挥着关键性作用,例如人机交互、自动驾驶、安防监控等。近年来,基于深度学习的方法显著提升了交互动作检测的性能,但是仍然存在一些不足,导致检测准确率无... 详细信息

交互动作检测旨在识别人与人之间、人与物体之间发生的交互动作,在许多领域都发挥着关键性作用,例如人机交互、自动驾驶、安防监控等。近年来,基于深度学习的方法显著提升了交互动作检测的性能,但是仍然存在一些不足,导致检测准确率无法满足实际应用的需求。因此,本文选择了交互动作检测中的两个相关任务,包括人物交互检测和视频动作检测,分别考虑了静态图像和动态视频两种模态的数据,能够满足目前大多数的应用场景需求。其中人物交互检测主要研究的是图像中人和物体之间的交互动作,视频动作检测主要研究的是视频中以人为中心的动作,包括人-人交互动作和人-物交互动作。本文的主要贡献如下:(1)提出了一种联合局部关系和上下文信息的人物交互检测方法VSILNet。首先,为了解决细粒度的交互动作在视觉上差异太小导致难以区分的问题,本文引入了一个由人体姿态引导的局部关系分支(Local Relation Branch,LRB),提取人体各个关键点的表征并学习不同人体部位和目标物体之间的语义关联性,以捕捉与交互动作相关的更精细的局部关系。然后,面向实际应用中多人协作、多物体参与的交互场景,本文提出了实例关系分支(Instance Relation Branch,IRB),通过建模实例两两之间的关系获取场景中的上下文信息,并且利用多种图结构以分别学习不同类型实例之间的交互性和同一类型实例之间的相关性。在V-COCO和HICO-DET数据集上进行定量和定性分析,结果表明了本文方法的先进性。(2)提出了一种建模交互关系和类别依赖的视频动作检测方法SLCNet。首先,针对视频中动作的持续时间长短不一的特点,本文设计了短期交互模块(Short-Term Interaction Module,STIM)和长期交互模块(Long-Term Interaction Module,LTIM),以建模动作执行者之间的短期时空交互和长期时序依赖。特别地,基于空间维度和时间维度的异质性,STIM采用解耦机制分别处理空间交互和短期时间交互。然后,针对数据集的多标签分类问题,本文设计了类别关系模块(Class Relation Module,CRM),通过自注意力机制挖掘不同动作类之间的语义依赖关系,并利用这种关系对原始类别表征进行融合,使得学习到的表征具有更强的区分度。在AVA v2.1数据集上进行实验分析,结果表明了本文方法的有效性。综上所述,本文分别针对人物交互检测任务和视频动作检测任务提出了有效的解决方案,以提高现实场景中交互类动作的检测准确率,研究成果具有较高的实际应用价值。

关键词：人物交互检测视频动作检测深度学习注意力机制多标签分类

针对古墓葬盗掘的异常行为识别系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

针对古墓葬盗掘的异常行为识别系统设计与实现

作者：向清华中南民族大学

学位级别：硕士

目前文物安全形势严峻,频繁发生的古墓葬盗掘违法犯罪案件,已造成我国经济和文化的重大损失。视频监控已成为古墓葬防盗掘的重要技术手段,然而,目前监控视频往往在古墓葬盗掘事件发生后,才被用来作为取证的手段,而且在取证时,又存在从... 详细信息

目前文物安全形势严峻,频繁发生的古墓葬盗掘违法犯罪案件,已造成我国经济和文化的重大损失。视频监控已成为古墓葬防盗掘的重要技术手段,然而,目前监控视频往往在古墓葬盗掘事件发生后,才被用来作为取证的手段,而且在取证时,又存在从海量存储视频中搜寻与古墓葬盗掘相关动作事件信息效率低的问题。本文引入了人工智能技术,设计并实现了针对古墓葬盗掘的异常行为识别系统。该系统采用人工智能技术对监控视频进行动作检测,然后采用隐马尔可夫模型对检测到的多个动作序列进行异常行为分析,使得文博单位能利用监控视频及时对古墓葬盗掘异常行为进行预警。主要的工作包括:1)在对古墓葬盗掘异常行为特点和系统需求进行了分析之后,设计一种端到端的古墓葬盗掘异常行为识别处理框架。系统主要由模型管理、数据获取、在线视频动作检测、异常行为识别等模块构成。系统采用了基于Analytics-Zoo技术以满足兼容不同深度学习网络模型的加载需求,降低了更新模型的实施复杂度;采用了基于Flink的计算框架技术以提高系统的计算效率,并使得系统具有可扩展性。2)设计了基于BMN和PGCN的视频动作检测模型,采用I3D模型对视频进行预处理,BMN模型对视频中动作进行定位,PGCN模型分别对视频动作定位进行优化和对视频动作进行识别。针对自建的古墓葬盗掘的动作数据集,对本文设计的视频动作检测模型和其他模型进行了性能评估,实验表明本文基于BMN和PGCN的视频动作检测模型在准确率上相比于其他模型更高。此外,进行了计算效率评估,采用了基于Flink的处理框架后平均每秒处理帧数有较明显的提升。3)针对单个动作事件不能准确判断是否存在古墓葬盗掘异常行为的问题,设计了基于隐马尔可夫模型的异常行为识别方法。该方法由数据集生成、模型训练和异常行为识别三个模块组成。数据集生成模块以有无封土的古墓葬防盗掘为背景,根据领域知识设置了隐马尔可夫模型的状态转移概率矩阵、观测概率矩阵和初始状态矩阵以及古墓葬盗掘异常行为判断的标准,并实现了数据集的生成;模型训练模块采用极大似然估计法得到了隐马尔可夫模型的模型参数;异常行为识别模块采用viterbi算法计算出与观测序列对应的最大概率的隐含状态序列,通过对隐含状态序列分析,实现对古墓葬盗掘异常行为的判断。本文验证了该方法的可行性,并在系统实现上提供了模型参数可配置功能,可根据实际古墓葬环境和历史案件特征进行个性化设置。本文系统在功能上实现了视频动作检测以及异常行为分析等功能,为文博单位提供了一套针对古墓葬盗掘的异常行为识别系统,为古墓葬防盗掘提供了预警信息,进而能提升文博单位的文物保护能力。本文采用Analytics-Zoo的模型加载API技术使用系统能兼容不同深度学习模型,能满足不同的监控场景下部署不同模型的需求。本文设计的异常行为识别处理框架采用了Flink的计算框架技术,使得具有系统的扩展性,能把计算分析任务调度到更多的计算节点上执行,满足并行处理分析多路监控视频的需求。

关键词：古墓葬防盗掘视频监控视频动作检测异常行为识别隐马尔可夫模型