检索结果-南通市图书馆

基于敏感特征强化和序列预测的时空动作检测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于敏感特征强化和序列预测的时空动作检测研究

作者：李想华中科技大学

学位级别：硕士

随着短视频平台的涌现和智慧安防应用的拓展,视频数据规模爆炸性增长。这为视频数据的智能分析和计算带来了巨大挑战,各领域视频分析理解的需求与日俱增。时空动作检测作为以人为中心的视频理解方法,能有效地促进信息结构化和应用智能化... 详细信息

随着短视频平台的涌现和智慧安防应用的拓展,视频数据规模爆炸性增长。这为视频数据的智能分析和计算带来了巨大挑战,各领域视频分析理解的需求与日俱增。时空动作检测作为以人为中心的视频理解方法,能有效地促进信息结构化和应用智能化,在视频理解领域处于承上启下的位置。但目前时空动作检测任务还存在一些问题和挑战,准确性和实时性还有待提升。为了提升时空动作检测算法的准确性,引入敏感特征强化,提出了多尺度时空聚合关系编码器算法(Multi-Scale Space-time Aggregated Relation Encoder,MS-STARE)。该算法为强化细粒度动作识别,在快慢网络(Slow Fast)基础上引入金字塔结构,构建多尺度快慢网络(Multi-Scale Slow Fast,MS-Slow Fast),以增加对低阶特征的关注。为了强化时空关联型敏感特征,设计时空聚合关系编码器(Space-time Aggregated Relation Encoder,STARE),对空间维度人与人、人与背景的关系以及时间维度动作的变化关系进行聚合建模。为了提升所提算法的实时性,借助视频连续片段之间内容的相似性,引入基于动作时间相关性的序列预测模块。具体而言,首先检测关键帧的边界框和动作类别,构造为动作序列,然后对后续帧的边界框和动作类别进行预测。为保证预测精度,序列预测模块以编码器-解码器结构为主体,不仅关注了动作的时序变化,还融合了空间交互信息。最后,以原子视觉动作(Atomic Visual Actions,AVA)数据集为评测基准,进行对比实验。结果表明,细粒度型和关联型敏感特征强化均具备有效性,所提出的MSSTARE算法在AVA数据集上相比基线算法帧级均值平均精度(Frame-Level Mean Average Precision,Frame-m AP)提升了3.7%。实时性优化方面,在增加序列预测和个体检测器轻量化后,相较于其他两阶段模型,所提算法的浮点运算量减少约70%,实时性能提升近1倍。

关键词：时空动作检测多尺度特征提取时空聚合关系编码序列预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种视频中时空动作检测的交互关系建模方法

信息与电脑 2022年第8期34卷 6-8页

作者：李飞西南交通大学计算机与人工智能学院四川成都611756

目前,在时空动作检测任务中,很少有方法明确提出使用优化动作交互关系特征来提升检测的准确性。笔者提出基于多头注意力的交互特征增强方法,包括人物视觉、人的时序、全局背景和空间位置的特征增强,采用串行融合策略连接增强块,有效提... 详细信息

目前,在时空动作检测任务中,很少有方法明确提出使用优化动作交互关系特征来提升检测的准确性。笔者提出基于多头注意力的交互特征增强方法,包括人物视觉、人的时序、全局背景和空间位置的特征增强,采用串行融合策略连接增强块,有效提升了时空动作检测的准确性。模型在自建Unload-Actions数据集上的帧级mAP达到27.93%,并在消融实验中证明了交互特征增强块和串行融合策略的有效性。

关键词：时空动作检测交互关系建模多头注意力机制

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于自注意力机制的时空动作检测研究

基于自注意力机制的时空动作检测研究

作者：马绪瑞国防科技大学

学位级别：硕士

时空动作检测是计算机视觉中一个新兴的研究领域,其核心任务是从未剪辑的视频中识别动作类别,并在空间和时间上定位动作对象。时空动作检测在监控视频监测、自动驾驶识别、目标行为跟踪等多领域具有实际应用价值。目前时空动作检测领域... 详细信息

时空动作检测是计算机视觉中一个新兴的研究领域,其核心任务是从未剪辑的视频中识别动作类别,并在空间和时间上定位动作对象。时空动作检测在监控视频监测、自动驾驶识别、目标行为跟踪等多领域具有实际应用价值。目前时空动作检测领域的研究重点在提升模型的检测精度与平衡检测速度两方面。本文针对当前研究重点,从更为有效的融合时空特征、优化检测框链接过程、缓解动作背景影响、模块结构优化等方面提出了具体的解决方案。本文选取当前第一个端到端的剪辑级时空动作检测器(Moving Center detector,简称MOC)作为基准模型,在此基础上设计基于中心帧融合的时空非局部块与基于链接标签的链接算法以提升模型的整体检测精度;设计轻量化的时空动作感知非局部块与视频剪辑数据增广算法以平衡速度与精度,提升模型泛化性能。本文的主要贡献包括:1.提出自注意力运动中心检测器SAMOC。本文设计了一种基于中心帧融合的时空非局部块,利用自注意力机制将时空信息聚集到中心帧上增强特征表达,提高目标定位和分类的准确性;通过神经网络输出运动对象的链接标签,用于确定不同帧的候选框的链接关系,解决运动目标过近导致的链接错误情况,缓解链接过程对先验知识的依赖,减少原始网络的动作管准确性受中心分支准确性的影响。SAMOC模型在保持实时检测的同时,在开源数据集上的评价指标取得了比基准更好的检测精度,同时在高Io U阈值下获得最高m AP值。2.提出时空非局部动作感知检测器NOLA。为了缓解计算规模与训练开销以适应真实应用下的硬件约束,本文设计了一种动作感知非局部块M-Nocal,通过池化层与渐进式计算方式降低模块计算与存储开销,基于自注意力的可学习权重实现更具灵活性与针对性的增强特征表示,即插即用特性使模块脱离前后具体的网络结构而增强非局部块实际的应用范围;通过视频剪辑增广算法将静态帧按比例添加到每一关联帧中以构建一个弱化背景的增广视频,原始视频与增广视频交替训练的形式增强了网络模型的泛化性能,缓解了数据集背景偏差影响。NOLA整体上训练更加稳定且高效,精度指标保持高水平的同时兼顾了速度上的平衡,在真实监控视频应用中表现出良好的应用性能与潜力。

关键词：时空动作检测时空非局部块链接算法视频数据增广自注意力机制动作感知

融合非均匀采样与特征强化的人体不文明行为检测方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学与探索 2024年

作者：叶浩王龙业曾晓莉肖越西藏大学信息科学技术学院西南石油大学电气信息学院

针对人体异常行为时空动作检测对相似行为存在误检及局部肢体行为检测精度较低的问题，基于自制的不文明行为时空动作检测数据集(UBSAD)，提出了一种融合非均匀采样与特征强化的人体不文明行为检测方法。该方法首先在时空特征提取阶段引... 详细信息

针对人体异常行为时空动作检测对相似行为存在误检及局部肢体行为检测精度较低的问题，基于自制的不文明行为时空动作检测数据集(UBSAD)，提出了一种融合非均匀采样与特征强化的人体不文明行为检测方法。该方法首先在时空特征提取阶段引入Video Swin Transformer(VST)作为主干网络，用于捕获视频中的长期时序依赖关系，提升网络全局信息学习能力；接下来，将提出的环形残差VST模块替换主干网络最后阶段的VST模块，放大目标区域和背景区域的差异，并结合多头自注意力机制，强化对目标区域的特征提取；此外，在视频帧采集阶段提出了独特的非均匀采样方法，根据任务需求调整输入数据分布，使模型有层次地获取动作变化信息，有效提升网络对相似行为细节特征的关注；最后，在特征提取网络之后嵌入新的融合浅层特征的级联池化三维空间金字塔特征强化模块，进一步增强多种尺度下的特征适用性，有效减少动作细节信息在特征提取过程中的丢失和降低背景信息的干扰，实现特征强化的效果。实验结果表明，该方法在UBSAD数据集和公开数据集UCF101-24上mAP指标分别达到了71.93%和83.09%，比使用基线网络VST作为时空特征提取模型分别提高了7.39%和1.22%，能够有效检测目标的行为。

关键词：时空动作检测环形残差Video Swin Transformer 非均匀采样级联池化三维空间金字塔

基于深度学习的卸油区场景下视频动作检测算法研究与实现

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于深度学习的卸油区场景下视频动作检测算法研究与实现

作者：李飞西南交通大学

学位级别：硕士

加油站卸油区是危险事故易发区域,尤其是卸油期间,人员在各项作业操作中稍有不慎就容易酿成安全事故,不仅造成设备损坏和人员伤亡,而且给周边居民的生命财产安全带来威胁。因此,卸油区场景下人员行为的检测和监管是非常必要的。随着深... 详细信息

加油站卸油区是危险事故易发区域,尤其是卸油期间,人员在各项作业操作中稍有不慎就容易酿成安全事故,不仅造成设备损坏和人员伤亡,而且给周边居民的生命财产安全带来威胁。因此,卸油区场景下人员行为的检测和监管是非常必要的。随着深度学习的发展,视频动作检测算法取得巨大进步,算法可以全天候、全自动地识别视频中的动作,逐渐取代了人工回看监控这种费时费力的方式。不同于通用的视频动作检测任务,卸油区场景下人员与周围物体、环境之间联系密切,找对人员正在操作的物体和人与它们之间的交互关系非常重要;另外,卸油区场景下人员的动作活动幅度很大,人员的来回走动会带来严重的时空位移问题;并且,现有数据集训练样本少、实际应用性不强。针对当前存在的问题,本文完成了以下主要工作:首先,本文基于真实卸油区场景监控视频构建了Unload-Actions数据集,包括30个动作类别和1539个完整的时空动作标注,标注的视频总时长达到6.5小时。在交互关系建模方面,为了有效利用人与周围物体、环境之间的交互关系线索,本文提出了一种基于多头注意力的交互关系建模方法。该方法首先建模交互动作的人物特征、时序特征、背景特征、空间特征这四种特征表示,然后让这些交互特征与人的时空特征共同经过“先串行后并行”连接的多个交互特征增强块,最后将增强后的交互关系特征用于动作分类。交互关系建模方法在Unload-Actions数据集上完成了对比实验和消融实验,获得了较大的性能提升。在时空特征提取方面,本文提出了一种基于视频片段特征库的时空特征提取算法,以缓解视频中动作空间位移严重的问题。算法的核心是设计了视频片段特征库(CFB),用于存储在时间轴上彼此重叠的视频片段特征。在迭代当前关键帧时,相邻区间上的多个片段特征和当前片段特征共同输入多头注意力模块,得到的准确的时空特征用于关系建模和动作分类。在Unload-Actions数据集上的对比实验和消融实验结果证明了时空特征提取算法的有效性。最后,设计并实现了卸油区场景下的动作检测系统,详细阐述了视频解码模块、动作检测模块、事件分析模块等核心模块,介绍了系统架构设计、程序设计与部署相关技术,并展示了系统的运行界面图。

关键词：时空动作检测交互关系建模视频理解注意力机制深度学习

基于计算机视觉的奶牛身份及采食行为识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于计算机视觉的奶牛身份及采食行为识别研究

作者：胡国政山东农业大学

学位级别：硕士

在现代化的奶牛养殖中,视频监控下的奶牛的身份识别和采食行为快速、准确的感知,对智能化养殖的推进有着重要的意义。本文利用目标检测、多目标跟踪和视频理解理论和技术,开展了基于计算机视觉的奶牛身份和采食行为识别研究,并提出了一... 详细信息

在现代化的奶牛养殖中,视频监控下的奶牛的身份识别和采食行为快速、准确的感知,对智能化养殖的推进有着重要的意义。本文利用目标检测、多目标跟踪和视频理解理论和技术,开展了基于计算机视觉的奶牛身份和采食行为识别研究,并提出了一系列解决方案和模型,主要内容如下:(1)针对现有奶牛身份识别算法复杂度高、计算量大、检测精度低且实用性不强等问题,设计了一种视频监控下的奶牛身份识别方案。由于监控摄像头视场角较广,难以提取奶牛的生物特征,因此制作了一种颈圈,颈圈上的号码牌组成三位数字标号用于代表奶牛的身份,然后采用搭建的轻量级Sim-YOLO(Simple-You Only Look Once)目标检测模型对号码牌上的数字标号进行识别。Sim-YOLO模型在YOLOv5s的基础上引入了优化和改进后的Sim Net(Simple Network)主干网络替换原主干网络;Sim Net通过融合Sim AM(Simple Attention Module)无参注意力机制和Ghost Conv模块,实现轻量化的同时增强模型对关键特征的提取能力;颈部采用特征金字塔(Feature Pyramid Network,FPN)和路径聚合网络(Path Aggregation Network,PAN)结构对多尺度特征进行融合。Sim-YOLO在m AP指标上达到98.010%,参数量为3.132 M,计算量仅7.6 G,平均检测帧耗时仅68.48 ms。此外,号码牌仅占监控像素面积的约千分之一,实现了视频监控下的小目标的识别。(2)针对目前奶牛身份识别方法缺乏持续跟踪能力的问题,搭建了基于目标检测的奶牛身份多目标跟踪算法,该算法基于Sim-YOLO模型,融合Shuffle Netv2＿0.5×外观特征提取器和OC-SORT(Observation-Centric Simple Online and Realtime Tracking)跟踪器,实现了奶牛身份的持续跟踪。跟踪器的识别F1分数和多目标跟踪准确率分别达到94.7%和89.0%,且IDs的平均值仅为1,表明OC-SORT在准确的区分和捕捉目标的同时能够稳定分配每个目标的ID。所提出的算法具有较强的鲁棒性,可为视频监控下的奶牛身份识别提供参考。(3)针对视频监控下奶牛采食行为的识别问题,本文结合奶牛采食行为特征,首先对奶牛的采食行为进行了动作分解,考虑到奶牛的采食行为是一组动作的组合,本文在空间维度上增加了时间维度,不再以静止图像中奶牛头部的姿态作为采食动作的判断依据。此外,根据动作的发生部位划分为头部和口鼻部,将动作类型分为移动动作和动作发生部位与饲料的交互动作,并参考AVA(Atomic Visual Actions)数据集的结构建立了适用于时空动作检测(Spatiotemporal Action Detection)的奶牛采食行为感知数据集。最后提出了一种用于感知奶牛采食行为的Slow Fast-Fast RCNN模型。该模型以Res Net18-3d为基础,构建了Slow Fast主干网络,其中,Slow和Fast两个分支分别用于提取空间特征和时间特征。模型以Fast RCNN为总体框架,采用Selective Search算法选择3D候选区域;Ro I Head(Region of Interest Head)用于实现对3D候选区域的3D Ro I提取;分类-回归模块用于最终识别奶牛采食行为的各基本动作。相比于ACRN(Actor-Centric Relation Network)和LFB(Long-term Feature Bank)算法,本文提出的方法在m AP指标上分别提高2.22%和11.69%,模型参数量分别减小了469.7 M和115.2 M。本文提出的方法为视频监控下的奶牛采食行为感知提供参考。

关键词：奶牛身份识别奶牛采食行为目标检测多目标跟踪时空动作检测

体育运动视频中的人体行为识别研究与系统实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

体育运动视频中的人体行为识别研究与系统实现

作者：侯林凯北京邮电大学

学位级别：硕士

随着社会与科学技术的发展,视频已成为当今社会中信息传播的重要媒介,对视频内容的智能分析也成为科研领域中的热门课题。人体行为识别是视频内容理解中的重要研究内容之一,而由于体育运动技术动作的确定性与规范性,同时体育动作的细粒... 详细信息

随着社会与科学技术的发展,视频已成为当今社会中信息传播的重要媒介,对视频内容的智能分析也成为科研领域中的热门课题。人体行为识别是视频内容理解中的重要研究内容之一,而由于体育运动技术动作的确定性与规范性,同时体育动作的细粒度分类与运动员的快速复杂运动使得其识别更具挑战性,因此体育运动视频中的技术动作识别受到更多关注。在现今体育运动领域中,人工智能赋能体育运动已成为主要发展趋势,基于视频数据对体育运动进行智能分析有着巨大的发展潜力。本论文着眼于体育运动场景,首先对基于视频数据的人体行为识别任务进行深入研究,然后在算法研究基础之上设计并实现了智慧体育运动分析系统。在人体行为识别的算法研究中,针对体育运动场景中人体目标变化大、技术动作复杂多变等挑战,本文提出了一种基于多尺度分离时空注意力机制的时空动作检测方法。该方法通过注意力机制在编码器-解码器的网络架构中渐进地提取并融合时空多尺度特征,能够有效应对体育运动场景中动作识别的挑战,并可进行端到端的训练与推理。同时,时空注意力在时间与空间维度上的分离设计,以及多尺度的编码器解码器结构,均能够有效地降低注意力机制在时空维度下的计算复杂度。在公开数据集上的实验结果也验证了本文所提出算法模型的有效性与优越性。基于体育运动中人体行为识别算法的研究基础,本文设计并实现了一种基于计算机视觉的智慧体育运动分析系统,综合运用多种深度学习算法体育运动视频进行智能分析。系统在前端设计了 Web界面以直观可视化展示视频分析结果,后端则负责请求响应、任务分发、算法调度与数据读写等逻辑功能。对于算法模型与功能,本系统运用虚拟化与微服务技术将其服务化,并构建算法服务中心,通过服务注册与服务发现实现便捷的算法服务调用。通过不同算法功能模块间的灵活搭配,本系统可容易地拓展到多种体育运动场景,以及智慧体育课堂、智能健身娱乐等其他领域中。

关键词：人体行为识别时空动作检测时空注意力智慧体育

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向视频的人体动作检测与识别算法研究

面向视频的人体动作检测与识别算法研究

作者：任方博东北大学

学位级别：硕士

动作检测是依托于动作识别发展起来的一项技术,其目的是实现视频中人体动作的分类识别与时空定位,任务要求面向真实场景,在现实场景中具有较高的应用价值。由于面向视频的动作检测与面向图像的目标检测在任务模式上具有很大相似性,目前... 详细信息

动作检测是依托于动作识别发展起来的一项技术,其目的是实现视频中人体动作的分类识别与时空定位,任务要求面向真实场景,在现实场景中具有较高的应用价值。由于面向视频的动作检测与面向图像的目标检测在任务模式上具有很大相似性,目前大多数时空动作检测算法会参考图像中目标检测的经典方法进行设计。但该类算法在处理视频时往往对多尺度的动作不能很好的检测,或者需要耗费大量的计算资源和时间,并且在进行实时的在线动作检测方面的应用研究较少。本文针对上述问题,主要根据不同的应用场景进行了以下研究:（1）针对面向视频的离线动作检测任务,本文提出了一种基于3D卷积的多阶段人体动作检测算法,该算法参考了 R-CNN算法的流程,并将其应用于视频中的动作检测任务上,提出了一个多尺度动作检测的解决方案,首先,利用Faster RCNN模型进行人体检测;然后,为了得到准确连续的人体序列,本文设计了一种人体序列的生成算法;最后,在动作的识别过程中,不同于C3D模型输入固定大小的视频片段,本文提出了一个基于3D卷积动作识别模型,该模型可以输入不同大小的视频帧,以实现人体动作的多尺度识别检测。（2）为了实现在线的实时人体动作检测,本文提出一种基于双流YOLO的实时人体动作检测模型,该算法依托于典型的双流模型的框架,并创新性地把YOLO模型应用于双流网络中以实现动作检测。首先,通过视频帧训练YOLO v3模型,实现对单帧图像中动作姿态的检测;其次,提出一种基于RGB模型和光流模型的双流融合方案,提升了检测算法的鲁棒性;最后,根据融合后的特征,本文设计了一种在线的动作管道生成算法,实现动作的在线检测功能。通过在UCF数据集上测试,实验结果显示本文设计的两种算法都能很好的完成时空动作检测任务,相比于传统的方法本文提出的方法更具有优势。其中,基于3D卷积的多阶段人体动作检测模型主要应用于离线任务中的人体动作检测,达到了较高的检测精度,而基于双流YOLO的实时人体动作检测模型主要应用于实时在线的动作场景中,本文针对不同的应用场景提供不同的动作检测技术。

关键词：动作识别时空动作检测深度学习目标检测视频处理

基于表观-姿态融合网络的行人动作检测与识别方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于表观-姿态融合网络的行人动作检测与识别方法

作者：潘斌斌安徽大学

学位级别：硕士

行人时空动作检测是计算机视觉中视频理解领域的重要组成部分,旨在对视频中存在的行人动作信息进行精准的分类和时空定位。随着视频监控系统的发展与普及,对于视频信息的时空动作检测尤其是监控场景下行人异常行为检测的需求日益增长,因... 详细信息

行人时空动作检测是计算机视觉中视频理解领域的重要组成部分,旨在对视频中存在的行人动作信息进行精准的分类和时空定位。随着视频监控系统的发展与普及,对于视频信息的时空动作检测尤其是监控场景下行人异常行为检测的需求日益增长,因此,研究时空动作检测和行人异常行为检测方法不仅具有重要的科研价值,更具有广泛的现实生活应用场景。目前先进的时空动作检测算法大多采用堆叠相邻帧的检测结果并加以时序处理的研究策略。动作的时序信息容易在卷积和下采样等操作中丢失,导致算法的时序动作建模能力不佳,限制了时空动作检测识别领域的发展。鉴于目前先进的姿态估计算法拥有优秀的骨架检测性能和动作建模能力,为了解决上述问题,本文就RGB表观信息与姿态骨架信息的融合策略进行了可行性研究,并将融合网络应用于复杂监控场景下的异常行为检测进行相关研究。本文的研究内容主要包含以下两个部分:第一,针对目前时空动作检测算法对于时序动作建模能力不佳的问题,引入姿态骨架信息弥补RGB表观信息在动作描述能力上的不足,基于简单的单人数据集验证表观信息与姿态信息融合的可行性。受双流法网络模型启发,分别利用RGB分支网络和骨架分支网络表示目标的表观信息和动作信息,提出了一种端到端的表观-姿态融合网络框架解决时空动作检测问题。RGB分支网络以若干相邻视频帧为输入,通过多帧SSD网络经非极大值抑制后生成初始动作分类和定位提案;骨架分支网络以相同视频帧作为输入,通过先进的姿态估计算法生成帧级别的姿态骨架信息,进行姿态补齐并归一化后按照时间顺序堆叠骨架信息,经LSTM网络分类后与RGB表观分支网络融合,生成最终的检测结果。另外,为了解决脏数据对于检测结果的影响,提出了一种基于得分比例的网络融合策略。我们筛选出UCF-101等数据集中的单人动作视频验证融合网络在简单场景下的时空动作检测与识别能力。第二,从实际需求出发,将融合网络应用到复杂监控场景下的多人异常行为检测问题。针对小目标姿态估计算法检测效果不佳,多行人目标易出现骨架关键点串联等困难点,在第一部分工作基础上进行改进,改进工作主要分为两点:(1)引入多尺度姿态估计策略,通过Vi Be算法检测出运动目标并进行输入数据的预处理,裁剪后进行姿态估计并映射回原图。(2)针对异常行为视频帧变化迅速,相邻帧之间多个目标骨架难以匹配的问题,我们提出了新的骨架匹配策略,通过匹配相邻帧的姿态动作区域代替简单的单人骨架堆叠操作。另外,我们自己拍摄制作了包含112段打架动作的异常行为数据集,并进行对比实验,实验结果表明表观-姿态融合网络针对监控场景多目标异常行为也有不错的检测性能。

关键词：时空动作检测视频理解异常行为检测信息融合姿态骨架