检索结果-南通市图书馆

锚框校准和空间位置信息补偿的街道场景视频实例分割

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子学报 2024年第1期52卷 94-106页

作者：张印辉赵崇任何自芬杨宏宽黄滢昆明理工大学机电工程学院云南昆明650500

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的... 详细信息

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

关键词：街道场景视频实例分割锚框校准空间信息补偿无人驾驶

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

尺度自适应生成调控的弱监督视频实例分割

光学精密工程 2023年第18期31卷 2736-2751页

作者：张印辉海维琪何自芬黄滢陈东东昆明理工大学机电工程学院云南昆明650000

视频实例分割是车辆辅助驾驶多目标感知和场景理解的一项关键技术。针对弱监督视频实例分割仅使用边界框对网络进行训练严重制约交通场景大尺度动态范围目标分割精度的问题,本文提出尺度自适应生成调控弱监督视频实例分割网络(Scale Ada... 详细信息

视频实例分割是车辆辅助驾驶多目标感知和场景理解的一项关键技术。针对弱监督视频实例分割仅使用边界框对网络进行训练严重制约交通场景大尺度动态范围目标分割精度的问题,本文提出尺度自适应生成调控弱监督视频实例分割网络(Scale Adaptive Generation Regulation weakly supervised video instance segmentation network,SAGRNet)。首先,设计一种多尺度特征映射贡献度动态自适应调控模块,通过动态调整不同尺度特征映射信息贡献度取代原有的线性加权以强化对目标局部位置和整体轮廓的聚焦能力,解决了车辆、行人等目标由于成像距离远近造成的尺度动态范围过大问题;其次,构建目标实例多细粒度空间信息聚合生成调控模块,通过聚合基于不同空洞率提取的多细粒度空间信息生成权重参数以调控各尺度特征,实现了细化实例边界和增强跨通道信息交互掩码特征映射表征能力,有效弥补了实例边缘信息匮乏导致边缘轮廓分割mask连续性缺失问题。最后,为缓解边界框标签监督信息弱化,引入正交损失和颜色相似性损失缩小模型预测mask与真实边界框偏差并计算逐像素点对间标签属性归类模糊问题。Youtube-VIS2019提取的交通场景数据集实验结果表明,SAGRNet相较于弱监督基准网络平均分割精度提升5.1%达到38.1%,为实现多目标感知和实例级场景理解提供了有效算法依据。

关键词：辅助驾驶弱监督视频实例分割自适应生成调控细粒度

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

时序特征融合的视频实例分割

中国图象图形学报 2021年第7期26卷 1692-1703页

作者：黄泽涛刘洋于成龙张加佳王轩漆舒汉哈尔滨工业大学(深圳) 深圳518055 深圳信息职业技术学院深圳518172 鹏城实验室深圳518052

目的随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质... 详细信息

目的随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。

关键词：计算机视觉实例分割视频实例分割缩放点积注意力多尺度融合

在线全文

学校读者我要写书评

暂无评论

结合视频实例分割的智能防挡弹幕方法研究

结合视频实例分割的智能防挡弹幕方法研究

作者：辛科西安理工大学

学位级别：硕士

现有的智能防挡弹幕技术主要有两种实现方式,其一是使用传统的模式识别方法,这种方式分割效果差,运行速度慢,综合体验较差;其二是基于深度学习的语义分割网络模型,对图像进行逐像素的分割,这种方法相对于传统方法在精度和速度上都有了... 详细信息

现有的智能防挡弹幕技术主要有两种实现方式,其一是使用传统的模式识别方法,这种方式分割效果差,运行速度慢,综合体验较差;其二是基于深度学习的语义分割网络模型,对图像进行逐像素的分割,这种方法相对于传统方法在精度和速度上都有了较大提升。然而,由于视频内容中存在大量的复杂场景,语义分割网络的性能有限,在实际应用中仍存在分割质量较差的问题。针对现有方法存在的分割边缘模糊、小目标与被遮挡目标漏分割或误分割以及运行速度过慢等问题,本文展开了以下研究:(1)针对边缘处理效果差、弹幕闪烁和小目标与被遮挡目标分割效果不佳的问题,本文设计了基于查询的端到端智能防挡弹幕方法。一方面,通过引入多头自注意力机制,增强查询向量,并通过级联网络结构,使查询向量可以在不同任务间流动;另一方面,针对视频具有帧相关性,设计了目标跟踪模块,通过对比跨帧实例的相似性,来融合帧与帧之间的有效信息。为了验证网络性能,在两个数据集上进有了主观和客观的评估,相比于其他方法,本文方法在各项指标上均有一定提升,在主观观感上也获得了更好的体验。(2)为了进一步提高智能防挡弹幕方法的性能,采用Swin-Transformer作为网络的骨干网络,但Transformer模型缺乏空间归纳偏置。基于此,引入Adapter模块对Swin-Transformer进行增强。Adapter模块可以在不改变原有Swin-Transformer结构的前提下,补充空间归纳偏置,进一步增强Transformer处理图像的能力。通过在COCO数据集以及YouTube-VIS数据集上进行横向和纵向的对比实验,从客观和主观两个维度进行评价,验证了引入Adapter模块的合理性。(3)针对现有的智能防挡弹幕方法处理速度过慢的问题,对Transformer模块中自注意力机制(Self-Attention)的复杂度进行了优化,将其复杂度降低到线性复杂度。通过在两个数据集上进行实验,对比分析参数量、精度以及处理速度,结果表明所提出的优化方案可以在保证精度的情况下,达到降低参数量并提高模型处理速度的效果。

关键词：智能防挡弹幕视频实例分割基于查询目标跟踪轻量化Transformer

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于单阶段模型的视频实例分割算法研究

基于单阶段模型的视频实例分割算法研究

作者：成璐东华大学

学位级别：硕士

随着计算机技术的发展,计算机视觉技术逐渐广泛应用于视频监控、视频理解等多种领域。为了提取视频中的有用信息,需要在排除人工辅助的情况下自动实现对于视频的分割。此外,由于人是大部分视频中的关键信息,因此针对人物类别且合并了检... 详细信息

随着计算机技术的发展,计算机视觉技术逐渐广泛应用于视频监控、视频理解等多种领域。为了提取视频中的有用信息,需要在排除人工辅助的情况下自动实现对于视频的分割。此外,由于人是大部分视频中的关键信息,因此针对人物类别且合并了检测、分割、跟踪等多种视觉任务的视频实例分割任务对于处理视频分析问题具有重要意义。该任务需要对每一帧中的目标实现像素级别分割,并关联不同帧中的相同实例。当前任务除基础需求外还包括许多难点,如目标长期消失后再现、目标遮挡、运动形变或光影变化等问题,这些问题都会增加视频实例分割任务的难度。针对以上分析,本文提出了基于单阶段实例分割方法SOLO的视频实例分割算法,文章的主要贡献总结如下:(1)由于当前缺乏专门针对人物类别的数据集,因此在多个已有视频数据集的基础上对其进行筛选与裁剪后获取新的PVIS数据集用于算法的评估。新数据集上的结果能够表明算法在复杂的视频场景中的鲁棒性。(2)在遵循检测跟踪模式的基础上,选择实例分割方法SOLO作为模式中的检测器,并加入外观特征提取模块与数据关联模块,进而实现对人体的检测、分割与跟踪。其中外观特征在主干网络的不同尺度特征层上提取,能改善同一实例尺寸变化后的身份转换问题;采样点由最大轮廓质心采样策略决定,改善了遮挡问题以提升分割精度;之后通过数据关联,完成不同帧间相同实例的匹配,实现对于视频中人物的跟踪。(3)针对部分大面积遮挡或消失后重现实例的长时间跟踪问题,提出了遵循掩码传播模式并基于SOLO网格结构的时空记忆模块,通过存储之前部分帧信息来减小掩码传播过程中的累积误差,将跟踪范围扩大到整个视频序列。同时引入选择模块对两类模式的结果进行整合,获得视频序列中更高质量的分割结果,在分割精度方面实现了较大提升。

关键词：视频实例分割多尺度特征数据关联时空记忆网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的视频实例分割研究

基于深度学习的视频实例分割研究

作者：董明辉华中科技大学

学位级别：硕士

视频实例分割是近年新提出的一个计算机视觉任务,其将图像实例分割算法扩展到视频领域,在一个统一算法框架内包含了多种计算机视觉任务,包括目标检测、语义分割、目标跟踪等,可以端对端的完成对视频目标的检测、分割、跟踪。现有的视频... 详细信息

视频实例分割是近年新提出的一个计算机视觉任务,其将图像实例分割算法扩展到视频领域,在一个统一算法框架内包含了多种计算机视觉任务,包括目标检测、语义分割、目标跟踪等,可以端对端的完成对视频目标的检测、分割、跟踪。现有的视频实例分割技术采用了深度学习作为解决方案,并且取得了较好的结果。目前的视频实例分割技术对视频目标的模糊、遮挡、剧烈形变等问题处理不佳,针对这些问题,本文首先提出了一个基于时序特征增强的级联视频实例分割网络。其中时序特征增强模块在单帧预测时,计算当前帧中的潜在目标与来自视频其他帧中目标的相似性,根据相似性做特征融合,辅助当前帧的预测。其中级联实例分割与跟踪模块通过多级递进的结构对检测目标的位置进行修正,同时进行多阶段的跟踪向量生成,进一步提高了实例分割和目标跟踪的精度。此外,目前的视频实例分割算法都采用了Anchor Box(锚框)的机制,虽然Anchor机制在目标检测领域表现优异,但是仍然存在着一些缺陷,比如超参数繁多、计算复杂、运行速度慢等问题,针对这些问题,本文提出了两种Anchor-Free(无需锚框)的视频实例分割算法,一种为两阶段Anchor-Free网络结构,先使用Anchor-Free目标检测算法对视频目标进行定位,然后进行目标分割与跟踪;另一种为一阶段Anchor-Free网络结构,通过引入全卷积跟踪向量、全卷积像素向量等分支,视频目标的实例分割结果、跟踪向量可以在单阶段中并行输出。两种Anchor-Free方案大大简化了视频实例分割模型的参数设置过程与算法流程,提高了模型运行速度。所提出的三种算法在国际公开视频实例分割数据集上进行了测评,实验结果显示所提出的三种算法均超过了目前已发表工作的最高精度,并且两种Anchor-Free视频实例分割方案进一步提高了现有模型的推理速度。

关键词：深度学习视频理解目标检测视频实例分割

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运动跟踪与特征融合的视频实例分割方法

计算机技术与发展 2022年第11期32卷 43-49页

作者：周震李莹柳德云吉根林南京师范大学计算机与电子信息学院/人工智能学院江苏南京210023

视频实例分割(VIS)提供了对视频更深层次的理解,是智能监控、自动驾驶、机器人等领域高级任务的前置任务之一。目前对于图像实例分割已经有很多研究,但是对于视频实例分割的研究却相对较少,而将图像分割方法直接应用到视频领域也存在很... 详细信息

视频实例分割(VIS)提供了对视频更深层次的理解,是智能监控、自动驾驶、机器人等领域高级任务的前置任务之一。目前对于图像实例分割已经有很多研究,但是对于视频实例分割的研究却相对较少,而将图像分割方法直接应用到视频领域也存在很多问题,其中实例被遮挡、实例成像差以及高速运动引起实例模糊等异常情况导致的追踪和分割效果差是主要问题。针对该问题,提出一种基于运动跟踪与注意力特征融合的视频实例分割方法(MTFA)。该方法利用运动跟踪头依据运动和特征信息在整个视频中跟踪实例并分配实例标签,然后按照实例标签对每一帧中实例去其他帧提取同一实例的特征信息,通过注意力机制融合这些特征信息用以增强当前帧的特征并生成分割掩码。该方法在Youtube-VIS数据集测试中最佳AP为38.3%(ResNet-50)和41.2%(ResNet-101)。

关键词：视频实例分割图像实例分割运动跟踪特征融合注意力机制

在线全文

学校读者我要写书评

暂无评论

基于视频实例分割的猪只监测算法

计算机与数字工程 2023年第11期51卷 2500-2504页

作者：张昌恒薛辉陈忠华中科技大学人工智能与自动化学院武汉430074 中国电子科技集团公司第五十四研究所石家庄050081

随着人工智能的蓬勃发展,智慧养殖业成为了新的发展前景。针对猪场监控视频监测自动化、智能化程度过低的问题,提出了一种基于视频实例分割的猪只监测算法框架,并将其命名为Track-YOLACT。该框架由分割器和跟踪器两部分构成,首先基于基... 详细信息

随着人工智能的蓬勃发展,智慧养殖业成为了新的发展前景。针对猪场监控视频监测自动化、智能化程度过低的问题,提出了一种基于视频实例分割的猪只监测算法框架,并将其命名为Track-YOLACT。该框架由分割器和跟踪器两部分构成,首先基于基于经典单阶段实例分割网络的分割器进行分割,然后使用跟踪器进行跟踪,从而实现对视频中所有猪只的分割和跟踪。论文为养殖场自动化、智能化监测提供了一种实用的框架。

关键词：深度学习视频实例分割智慧养殖业

在线全文

学校读者我要写书评

暂无评论

面向视频场景的实例分割方法研究

面向视频场景的实例分割方法研究

作者：黄泽涛哈尔滨工业大学

学位级别：硕士

随着互联网和人工智能的发展,视频数据的处理分析变得越来越重要,深入研究面向视频场景的实例分割方法对视频理解等上层任务有着重要的意义。实例分割是目标检测和语义分割的集成任务,旨在提取视频中出现物体的位置和空间信息,具有一定... 详细信息

随着互联网和人工智能的发展,视频数据的处理分析变得越来越重要,深入研究面向视频场景的实例分割方法对视频理解等上层任务有着重要的意义。实例分割是目标检测和语义分割的集成任务,旨在提取视频中出现物体的位置和空间信息,具有一定实用价值和研究空间。相对于一般的图像数据集,视频存在更多包含运动模糊、物体形变和相互遮挡的图片帧,然而现有的视频实例分割算法大多直接将图像实例分割算法单独应用到每一帧上,忽略对视频时空信息的利用,容易使得提取的物体特征表现力较差,目标实例分割掩膜的精度较低。此外,视频实例分割涉及到对目标的检测、分割和关联等多个任务的学习,如何设计端到端的多任务网络结构也是一个难点。针对视频场景下物体特征表现能力下降,分割精度不足的问题,本文设计了基于时空特征融合的特征提取网络。时空特征融合模块包括对多尺度特征的融合和对检测目标特征的融合。多尺度特征融合主要对特征金字塔输出的多尺度特征进行处理,通过统一缩放和对语义类似的各通道特征逐像素相加以及残差连接等方式,对空间上不同尺度的语义特征进行全局融合;检测目标特征融合应用缩放点积注意力机制,计算其他帧已检测目标特征和当前帧特征的相关矩阵,加权融合已检测目标的特征,为当前帧增加时间维度上的信息。该模块强化了目标在视频场景下的特征响应,抑制了背景的干扰。在时空特征融合网络基础上提出了两阶段的视频实例分割算法,实现对检测、分割和关联等多个任务的学习。通过候选区域生成网络RPN对图片的目标区域进行初步提取,针对这些候选区域引入点采样分割网络Point Rend改善目标分割效果,在检测网络中优化候选框的位置,在关联网络中通过点积相似度和Softmax多分类器计算实例匹配分数,最后联合多任务损失函数进行训练,以提升模型的精度。此外,针对两阶段算法速度相对较慢,不能很好满足现实预测要求的问题,设计了单阶段的快速视频实例分割版本,引入可变形卷积,使用YOLACT单阶段网络替代耗时的RPN,把分割过程简化为掩膜原型和实例系数线性组合的结构,提高了模型训练和预测的速度。最后,在You Tube-VIS和KITTI MOTS数据集上进行了一系列实验,与其他对比模型相比较,验证了本文所提算法的有效性。

关键词：计算机视觉目标检测语义分割实例分割视频实例分割