检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于运动引导的高效无监督视频目标分割网络

自动化学报 2023年第4期49卷 872-880页

作者：赵子成张开华樊佳庆刘青山南京信息工程大学自动化学院南京210044

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation,UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的... 详细信息

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation,UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先,RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.

关键词：无监督视频目标分割运动引导局部注意力互注意力

深度信号引导学习混合变换器的高性能无监督视频目标分割

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

电子学报 2023年第5期51卷 1388-1395页

作者：苏天康宋慧慧樊佳庆张开华南京信息工程大学江苏省大数据分析技术重点实验室江苏南京210044 南京信息工程大学大气环境与装备技术协同创新中心江苏南京210044 南京航天航空大学计算机与科学技术学院江苏南京211106

现存的无监督视频目标分割方法通常使用光流作为运动线索来提升模型性能.然而,光流的估计常存在误差,这将导致双流网络易对噪声过拟合.为此,本文提出一种基于混合变换器的无监督视频目标分割算法,通过引入深度信号引导变换器高效融合不... 详细信息

现存的无监督视频目标分割方法通常使用光流作为运动线索来提升模型性能.然而,光流的估计常存在误差,这将导致双流网络易对噪声过拟合.为此,本文提出一种基于混合变换器的无监督视频目标分割算法,通过引入深度信号引导变换器高效融合不同模态数据,以学习更加鲁棒的特征表达,从而减轻模型对噪声的过拟合.首先,设计一个新颖的混合注意力模块来获得全局感受野并对不同模态的特征进行充分交互,以增强特征的全局语义信息来提升模型的抗干扰能力.接着,为了进一步感知精细化的目标边缘,设计了一个局部-非局部语义增强模块,将局部语义的归纳偏置引入补充学习非局部语义特征,在提升模型抗干扰力的同时突出更精细化的目标区域.最后,增强后的特征输入变换器的解码器,预测得到高质量的分割结果 .与最先进的方法相比,本文所提算法在四个标准数据集上都获得了领先的性能,充分表明了本文所提方法的有效性.

关键词：无监督视频目标分割混合变换器混合注意力多模态深度估计鲁棒特征

基于高效深度学习的实时无监督视频目标分割算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于高效深度学习的实时无监督视频目标分割算法研究

作者：成华阳电子科技大学

学位级别：硕士

无监督视频目标分割是指在未给定任何参考输入信息的前提下,实现前景目标的准确分割,其在视频监控、视频编辑、自动驾驶等场景应用广泛。现有的前沿方法大多需要依靠复杂的深度学习网络结构或光流来提高分割准确性,这往往导致分割效率较... 详细信息

无监督视频目标分割是指在未给定任何参考输入信息的前提下,实现前景目标的准确分割,其在视频监控、视频编辑、自动驾驶等场景应用广泛。现有的前沿方法大多需要依靠复杂的深度学习网络结构或光流来提高分割准确性,这往往导致分割效率较低,不能做到实时分割。因此,如何在平衡分割准确性的同时降低模型计算量,以实现高效分割是一个很重要的研究问题。本文从前景目标运动和背景固定的特定运动场景出发,首先研究该场景下的高效分割问题,其次针对特定场景方法不能迁移到一般场景使用的问题,研究面向一般场景的高效分割问题,最后,对两个场景的算法进行了高效性应用测试。全文的工作如下:(1)针对运动场景下深度学习方法没有做轻量级设计导致分割效率相对低的问题,本文提出了基于单线性瓶颈和池化补偿的实时前景分割网络FSNet-LBPC。在计算量较大的特征提取部分,通过本文提出的单线性瓶颈算子进行轻量化设计降低计算量实现模型的高效性;并通过本文提出的池化补偿机制减少特征提取过程中因压缩特征图带来的信息损失以提高模型的分割准确性。模型在CDNet2014数据集上准确性综合指标为95.74%,较最先进的方法相差2.73%,在分辨率为320×240的视频上能够实现每秒151帧的分割速度。(2)针对一般场景下的深度学习方法结构复杂和依赖光流导致分割效率较低的问题,本文提出了基于时空相似性学习的实时无监督视频目标分割算法STSNet。在方法上,STSNet通过目标的外观信息实现分割,可以避免耗时的光流计算。在结构上,STSNet通过Transformer学习到的历史帧时空前背景特征和分割帧进行特征相似性学习得到当前帧的分割参考信息可以在保证分割准确性的同时实现每次分割只需提取当前帧特征,相比每次分割需要提取多帧特征的复杂结构方法和依托光流的方法,大幅度降低了计算量。模型在DAVIS16数据集上准确性综合指标为81.9%,较最先进的方法相差2.6%,在输入分辨率为473×473的视频上可以达到每秒52帧的分割速度。(3)以背景替换应用为例,设计并实现了一个初步的算法高效性测试系统,并对FSNet-LBPC和STSNet分别进行了高效性应用测试。测试结果表明,本文所提算法在背景替换应用中具有一定的高效性和准确性。

关键词：无监督视频目标分割单线性瓶颈池化补偿相似性学习

高效融合运动与表观信息的无监督视频目标分割算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高效融合运动与表观信息的无监督视频目标分割算法研究

作者：赵子成南京信息工程大学

学位级别：硕士

无监督视频目标分割的旨在无需引导的情况下自动分离视频帧中的主要前景和背景,并输出像素级的精确分割。无监督视频目标分割在视频编码、场景理解等领域具有重要意义。随着深度学习的兴起,出现了大量基于卷积神经网络的无监督视频目标... 详细信息

无监督视频目标分割的旨在无需引导的情况下自动分离视频帧中的主要前景和背景,并输出像素级的精确分割。无监督视频目标分割在视频编码、场景理解等领域具有重要意义。随着深度学习的兴起,出现了大量基于卷积神经网络的无监督视频目标分割算法,并取得了重大进展和突破,但这些方法仍然受到复杂场景和模型计算代价的限制。本文从运动估计和外观信息出发,探讨了如何构建双流网络来解决上述问题。成果如下:目前流行的无监督视频目标分割方法利用双流网络融合RGB帧和光流,然而,它们无法处理两个输入模态下的干扰噪声,这可能会严重降低模型的性能。本文建立了输入模态之间的对应关系,利用最优结构匹配抑制干扰信号。给定一个视频帧,从RGB图像和光流估计中提取稠密的局部特征,并将其视为两种复杂的结构化表示。然后,利用Wasserstein距离计算将一个模式中的特征传输到另一个模式的全局最小流,每个流的幅度表示两个局部特征之间的对齐程度。为了将最优结构匹配嵌入到一个可以端到端训练的双流网络中,本文将传输代价矩阵分解为多个小的空间块,并设计了一个可微的长短分解Sinkhorn模块,该模块由一个长距离Sinkhorn层和一个短距离Sinkhorn层串联组成,本文将该模块集成到一个双流网络中。本文的实验表明,在DAVIS-16和FBMS数据集上,运动外观的结构对齐可以产生最先进的结果。在上一个工作的基础上,本文进一步探索了外观与运动信息的相关性,研究了算法的轻量化方法,提出了一种基于空洞局部注意机制的无监督视频目标分割算法。网络由双流网络、多头运动引导模块、多尺度外观自增强模块和多尺度渐进融合模块组成。空洞局部注意力机制结合了注意力机制和卷积的优点,在效果和计算复杂度之间取得了平衡。多头运动引导模块利用空洞局部注意机制从运动特征中提取空间信息,得到多组动态卷积核,对外观特征进行卷积,引导外观特征学习高级语义。多尺度外观自增强模块利用空洞局部注意机制提取外观特征的多尺度信息,获得多组动态卷积核,进行卷积以增强外观特征的语义。编码器提取不同阶段的特征,送入多尺度渐进融合模块,将深层特征逐渐融合到浅层特征中,同时保留浅层特征的细节信息,改善目标分割效果。该算法可以进行端到端的训练,模型参数量和计算量较小,推理速度大幅提高,在DAVIS-16和FBMS数据集上优于同期方法,在较难的FBMS数据集上提升了0.5个百分点。

关键词：无监督视频目标分割运动引导最优结构匹配局部注意力

面向高质量运动信息增强的无监督视频目标分割算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向高质量运动信息增强的无监督视频目标分割算法研究

作者：程冠军南京信息工程大学

学位级别：硕士

视频目标分割旨在将一连串视频帧中人们感兴趣的目标进行定位、分割并在时间维度进行跟踪,最终得到一连串的分割图。其中,无监督视频目标分割任务是在推理阶段不提供任何有关目标的先验信息,让模型能够自动地对视频帧的主要目标进行分... 详细信息

视频目标分割旨在将一连串视频帧中人们感兴趣的目标进行定位、分割并在时间维度进行跟踪,最终得到一连串的分割图。其中,无监督视频目标分割任务是在推理阶段不提供任何有关目标的先验信息,让模型能够自动地对视频帧的主要目标进行分割。无监督视频目标分割在现实生活中有很广泛的应用,包括视频编码、远程办公、医疗诊断等领域,具有重要的研究意义。本文着重研究面向高质量运动信息增强的无监督视频目标分割算法,同时取得了以下的成果:(1)基于外观和运动信息提纯的无监督视频目标分割算法针对运动和外观信息中存在的背景噪声,包括光流引入的动态背景干扰和静态显著的背景目标,本文提出了一种基于外观和运动信息提纯的无监督视频目标分割算法。具体来说,首先,为了减弱背景噪声所带来的影响,设计了信息提纯模块,在其中嵌入对比学习使网络学习到的特征尽可能地靠近前景,而远离背景,并且,利用注意力机制对特征进行提纯,获得高质量的外观和运动信息。同时,设计了一个简单高效的特征交叉融合模块,使得网络结构更加简洁,减少了参数量和计算量,让提纯后的外观和运动特征能够进行充分地交互与融合。此外,为了捕获边界分割的模糊性,设计了数据不确定性估计模块,通过置信度估计网络来预测分割结果和真实标注的误差来建模数据不确定性,并且通过加权分割网络损失函数的方式,不断修正分割网络的预测,提高了分割的质量。最后,本文在四个广泛使用的数据集上进行了充分的实验,包括DAVIS-16、FBMS、You Tube-Objects和MCL,相比于现有的方法,均取得了有竞争力的性能。(2)基于运动质量评估的无监督视频目标分割算法针对前一个工作的不足以及现有先进方法存在的问题,即低质量的光流会分散网络的注意力,给模型造成极大的干扰,本文提出了一个基于运动质量评估的无监督视频目标分割算法。具体来说,首先,设计了质量评估模块去对光流的质量进行评估,并根据质量分数挑选出高质量的光流作为运动信息和当前帧信息融合。对于低质量的光流,由于其不能提供任何有帮助的信息,于是截断反向传播的梯度,阻止其参与模型的训练,以此来减少光流估计失败带来的噪声对网络的干扰。然后,利用离散余弦变换,设计了光流数据增强模块来增加光流的多样性,不仅可以让光流质量分数预测得更加准确,而且能够以一定的概率盖住目标的一部分,来让模型挖掘出更具鉴别性的特征。此外,还设计了外观掩码引导融合模块,以仅使用外观信息预测出的掩码作为先验,来引导外观和高质量运动信息的融合,加速模型收敛的速度,获得更好的分割结果。最后,本文在四个广泛使用的数据集上进行了充分的实验,包括DAVIS-16、FBMS、You Tube-Objects和MCL,相比于现有的方法均取得了有竞争力的性能。

关键词：无监督视频目标分割对比学习不确定性离散余弦变换

基于运动与表观信息融合的无监督视频目标分割算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运动与表观信息融合的无监督视频目标分割算法研究

作者：王玉琛南京信息工程大学

学位级别：硕士

视频目标分割旨在将视频数据中最主要的目标对象从背景中分割出来并在时间上进行跟踪。其中,无监督视频目标分割任务旨在测试时不需要人工提供视频第一帧的目标分割真值掩膜的情况下,对视频中的前景对象进行定位和精确分割。由于在测试... 详细信息

视频目标分割旨在将视频数据中最主要的目标对象从背景中分割出来并在时间上进行跟踪。其中,无监督视频目标分割任务旨在测试时不需要人工提供视频第一帧的目标分割真值掩膜的情况下,对视频中的前景对象进行定位和精确分割。由于在测试阶段无需额外的人工标注信息,无监督视频目标分割的应用场景更丰富、灵活。无监督视频目标分割在视频理解、自动驾驶、视频编辑等领域受到广泛关注,具有重要的研究意义。本文重点研究基于运动与表观信息融合的无监督视频目标分割算法,并取得了如下成果:(1)基于离散余弦变换频域特征融合的无监督视频目标分割算法针对当前算法中,表观与运动信息在双流网络中交互能力的不足,提出一种基于离散余弦变换特征融合的轻量级无监督视频目标分割网络。利用特征在频域中不同频率分量的重要程度不同的特性,设计了离散余弦变换特征融合模块。首先,在空间域对两个模态的特征进行交叉融合,相互补充。然后,通过离散余弦变换将特征转换到频域,在频域中学习融合特征的频域分量重要性权重,对特征在频域中进行增强;针对当前算法中,大感受野带来的大尺寸卷积核计算复杂度问题,设计了大核卷积上下文语义引导模块,将大尺寸卷积核分解为空间局部卷积、空间远程卷积和通道卷积,在拥有大尺寸卷积核的上下文语义学习能力的同时,有效降低计算复杂度;另外,在解码阶段利用全局语义信息对上采样过程进行引导,逐级聚合频域增强后的多级特征,获得更精确的分割结果。最后,在DAVIS2016、FBMS和DAVSOD数据集上进行了大量的实验评测,实验结果充分验证了该方法的有效性。(2)基于运动信息质量估计的无监督视频目标分割算法为了在双流网络中更好的利用运动信息,在前一个研究工作的基础上,在运动与表观信息的交互中,进一步考虑不同质量运动信息对算法的不同影响,设计了基于运动信息质量估计的无监督视频目标分割算法。低质量运动信息不仅不能为表观信息提供补充,增强分割效果,反而会污染表观特征。现有方法没有显式的建模运动信息质量对双流网络融合特征的贡献程度。为了调节不同质量的运动信息在与表观信息融合阶段的参与程度,设计了运动信息质量估计模块,显式的建模不同质量的运动信息对算法不同编码阶段的重要性权重。并且在前一个研究工作的基础上,利用频域的特性,构建了频域全局滤波模块,通过频域乘法相当于空间域卷积的原理,在频域中通过可学习的权重学习特征的全局依赖关系,替代了自注意力模块,降低了计算复杂度。最后,通过在DAVIS2016、FBMS和DAVSOD数据集上充分的实验,证明了本章算法的有效性。

关键词：无监督视频目标分割离散余弦变换注意力机制频域分析

深度信号引导与域泛化驱动的无监督视频目标分割算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

深度信号引导与域泛化驱动的无监督视频目标分割算法研究

作者：苏天康南京信息工程大学

学位级别：硕士

无监督视频目标分割(Unsupervised Object Segmentation,UVOS)旨在缺少待分割目标先验信息的情况下,定位并分割出视频中显著运动的目标。在计算机视觉中是一项极具挑战性的任务,拥有众多应用场景。例如:目标跟踪、自动驾驶、机器人和视... 详细信息

无监督视频目标分割(Unsupervised Object Segmentation,UVOS)旨在缺少待分割目标先验信息的情况下,定位并分割出视频中显著运动的目标。在计算机视觉中是一项极具挑战性的任务,拥有众多应用场景。例如:目标跟踪、自动驾驶、机器人和视频监控等。随着深度学习的快速发展,无监督视频目标分割任务的性能得到极大提升,相关研究也引起了极大关注。由于在现实场景中存在遮挡、形变、光照和快速移动等干扰,现有的无监督视频目标分割技术仍然存在许多不足。本文深入分析了当前无监督视频目标分割方法存在对光流噪声过拟合、过度依赖静态训练模型以及训练集与测试集之间的分布偏移等关键问题,开展了如下三个主要创新工作:(1)面对光流估计存在误差(尤其是针对静态或存在复杂运动干扰的目标,光流含有较大噪声)而导致模型对噪声过拟合的问题。本文提出一种深度信号引导学习混合变换器的无监督视频目标分割算法,通过引入深度信号引导变换器高效融合不同模态数据,以学习更加鲁棒的特征表达,从而减轻模型对噪声的过拟合。首先,变换器的输入为视频帧、光流图、深度图等三种模态数据组成的三元组,分别裁剪为固定尺寸的图像块并拼接在一起,通过线性映射后加入位置编码,生成待编码的特征。然后,该特征通过设计一个新颖的混合注意力模块进行整合,来获得全局感受野并对不同模态的特征进行充分交互,以增强特征的全局语义信息来提升模型的抗干扰能力。接着,为了进一步感知精细化的目标边缘,设计了一个局部-非局部语义增强模块,将局部语义的归纳偏置引入补充学习非局部语义特征,在提升模型抗干扰力的同时突出更精细化的目标区域。最后,增强后的特征以跳跃连接的方式输入变换器的解码器,预测得到高质量的分割结果。与一系列最先进的方法相比,本文所提算法在四个标准数据集上都获得了领先的性能。(2)针对当前无监督视频目标分割方法在处理测试视频时过度依赖离线训练的分割模型,从而难以适应可能存在的分布偏移问题。本文提出在线对抗自调整的无监督视频目标分割框架以适应任意测试视频。首先,设计了一种离线半监督对抗训练过程,利用无标签的视频帧提高模型的泛化能力,同时使有标签视频帧的特征与无标签视频帧的特征保持一致。其次,通过训练好的分割模型,进一步进行在线自监督对抗微调。其中使用预训练分割模型权重初始化教师模型和学生模型,教师模型生成的伪标签用于在对抗学习框架中监督学生模型。通过在线微调,学生模型根据每个测试视频中出现的模式逐步更新,显著减少了测试时的领域差异。实验证明,本文所提方法在主流的UVOS数据集上取得了显著的性能提升。(3)为处理当前的无监督视频目标分割方法在面对分布不同的场景时,在测试视频上表现出严重性能下降的问题(由于真实世界中的测试数据可能不符合独立同分布的假设而导致域漂移)。本文提出了一种可泛化傅立叶增强的无监督视频目标分割方法,通过训练过程中的傅立叶变换来提高模型的泛化能力。首先,对每一层中间空间域特征执行快速傅立叶变换,得到相应的频率表示,包括幅值部分(编码场景感知风格,如纹理、颜色、场景对比度)和相位部分(编码丰富的语义)。通过高斯采样产生各种样式特征来增强训练数据,从而提高模型的泛化能力。其次,为了进一步提升模型的跨域泛化性能,设计了一种相位特征更新策略,通过指数移动平均使用过去帧的相位特征进行在线更新,有助于模型学习跨域不变特征。广泛的实验证明,本文所提方法在七个常用基准测试集上达到了领先性能。

关键词：无监督视频目标分割视觉变换器在线微调傅里叶变换领域泛化