检索结果-南通市图书馆

结合在线归纳和直推推理的快速视频目标分割方法

在线全文

学校读者我要写书评

暂无评论

计算机学报 2022年第10期45卷 2117-2132页

作者：徐凯李国荣洪德祥张维刚齐元凯黄庆明中国科学院大学计算机科学与技术学院哈尔滨工业大学(威海)计算机科学与技术学院

视频目标分割任务是通过算法自动获得视频序列中感兴趣目标对应的像素级区域.因为存在目标表观变化、尺度变化、相似目标干扰、遮挡等困难,所以视频目标分割是一个非常有挑战的任务.现有的方法按照对给定的视频第一帧真实标签的利用方... 详细信息

视频目标分割任务是通过算法自动获得视频序列中感兴趣目标对应的像素级区域.因为存在目标表观变化、尺度变化、相似目标干扰、遮挡等困难,所以视频目标分割是一个非常有挑战的任务.现有的方法按照对给定的视频第一帧真实标签的利用方式不同可以分为两类:一类是基于在线归纳学习的方法;另一类是基于直推推理的方法.基于在线归纳学习的方法为了获得准确的结果,在测试阶段,利用给定的初始帧分割图来在线地微调整个网络,导致时间消耗较大,很难满足实时需求.此外,基于直推推理的方法在建模时序推理规则时需要使用大量的合成数据或者标注数据,增加了算法训练的成本.为了充分利用基于在线归纳学习和基于直推推理的两类算法的优点,同时避免两种方法的缺点,本文提出了一个新的结合在线归纳学习和直推推理的快速视频目标分割算法,该网络由直推推理分支和在线归纳分支组成.具体的,直推推理分支可以通过视频前若干帧图像和对应的分割图建模视频短期内的时序变换和运动信息,从而推理出当前帧的分割结果,其学到的时序特征可以指导网络提高视频分割的稳定性.直推推理分支的预训练过程中只需要使用无标注的原始视频数据,不需要使用任何的合成或标注信息.在线归纳分支根据参考帧在线训练,学到目标表观的判别性特征,提供长期的表观判别力.为了提高测试速度,不同于以往的方法,本文没有利用第一帧在线微调整个网络,而是通过在线更新一个非常轻量的模板网络.轻量模板网络提供粗略的分割结果作为注意力图作用到时序特征和当前帧的图像特征,然后经过解码网络生成最终更加精细的分割结果.通过大量的实验,表明本文的方法取得了当前较优的效果,在DAVIS-2017和YouTube-VOS数据集上分别达到了J&F指标的72.9%和73.8%,在DAVIS-2016数据集上速度达到18帧每秒.

关键词：视频目标分割自监督学习注意力机制视频预测在线学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

反馈学习高斯表观网络的视频目标分割

自动化学报 2022年第3期48卷 834-842页

作者：王龙宋慧慧张开华刘青山南京信息工程大学江苏省大数据分析技术重点实验室大气环境与装备技术协同创新中心南京210044

大量基于深度学习的视频目标分割方法存在两方面局限性:1)单帧编码特征直接输入网络解码器,未能充分利用多帧特征,导致解码器输出的目标表观特征难以自适应复杂场景变化;2)常采用前馈网络结构,阻止了后层特征反馈前层进行补充学习,导致... 详细信息

大量基于深度学习的视频目标分割方法存在两方面局限性:1)单帧编码特征直接输入网络解码器,未能充分利用多帧特征,导致解码器输出的目标表观特征难以自适应复杂场景变化;2)常采用前馈网络结构,阻止了后层特征反馈前层进行补充学习,导致学习到的表观特征判别力受限.为此,本文提出了反馈高斯表观网络,通过建立在线高斯模型并反馈后层特征到前层来充分利用多帧、多尺度特征,学习鲁棒的视频目标分割表观模型.网络结构包括引导、查询与分割三个分支.其中,引导与查询分支通过共享权重来提取引导与查询帧的特征,而分割分支则由多尺度高斯表观特征提取模块与反馈多核融合模块构成.前一个模块通过建立在线高斯模型融合多帧、多尺度特征来增强对外观的表征力,后一个模块则通过引入反馈机制进一步增强模型的判别力.最后,本文在三个标准数据集上进行了大量评测,充分证明了本方法的优越性能.

关键词：视频目标分割表观建模反馈机制深度学习

在线全文

学校读者我要写书评

暂无评论

基于前景感知视觉注意的半监督视频目标分割

电子学报 2022年第1期50卷 195-206页

作者：付利华赵宇姜涵煦赵茹吴会贤闫绍兴北京工业大学信息学部北京100124 北京航空航天大学计算机学院北京100191

半监督视频目标分割是计算机视觉领域中的一个研究热点.传统半监督视频目标分割方法的网络模型缺乏对相似目标的判别力,且传统的掩码传播方式对模型的指导能力较弱.本文提出一种基于前景感知视觉注意的半监督视频目标分割方法.三流孪生... 详细信息

半监督视频目标分割是计算机视觉领域中的一个研究热点.传统半监督视频目标分割方法的网络模型缺乏对相似目标的判别力,且传统的掩码传播方式对模型的指导能力较弱.本文提出一种基于前景感知视觉注意的半监督视频目标分割方法.三流孪生编码器将输入图像映射到同一特征空间,使得相同目标具有相似的特征.基于前景感知的视觉注意将编码器输出的特征进行相似度匹配,并利用分割掩码突显前景特征,形成前景感知视觉注意,以此关注给定的分割目标,提升模型对待分割目标的判别力.基于残差细化的解码器采用残差学习的思想,融合当前帧图像的低阶特征,逐步改善分割细节.在公开基准数据集上的实验结果表明,本文方法可以较好地解决相似目标容易产生混淆等问题,并能较为准确地跟踪给定的分割目标.

关键词：视频目标分割孪生网络特征空间前景感知视觉注意力

基于自监督学习方法的半监督视频目标分割研究

在线全文

学校读者我要写书评

暂无评论

复旦学报（自然科学版） 2022年第2期61卷 188-195,204页

作者：朱方瑞张力付彦伟谢伟迪复旦大学大数据学院上海200433 牛津大学工程科学系英国牛津OX13PJ

本文主要研究自监督学习方法在视频目标分割中的应用。首先通过挖掘大规模无标注视频数据中的时间-空间关系,让神经网络作为特征编码器学习视频帧之间的相似性和连续性;然后通过记忆力机制训练网络,使其对当前帧和多个参考帧之间的关系... 详细信息

本文主要研究自监督学习方法在视频目标分割中的应用。首先通过挖掘大规模无标注视频数据中的时间-空间关系,让神经网络作为特征编码器学习视频帧之间的相似性和连续性;然后通过记忆力机制训练网络,使其对当前帧和多个参考帧之间的关系进行建模;利用特征编码器学习到的特征对视频帧中的分割目标进行重建,进行下游的视频目标分割任务;最后,利用在线自适应模块对视频分割结果的错误进行修正。实验结果表明,本文的自监督方法在视频分割任务上的表现可以更加接近有监督方法的分割结果,采用记忆力机制和在线自适应模块可以大大提高视频目标分割的准确性。另外本文探究了数据有效性,当采用少量数据进行网络的自监督训练时,模型仍能取得较好的效果,意味着这个任务本身不需要大规模数据集中富含的复杂语义信息进行建模。

关键词：视频目标分割自监督学习半监督学习

在线全文

学校读者我要写书评

暂无评论

深浅层表示融合的半监督视频目标分割

计算机应用 2022年第12期42卷 3884-3890页

作者：吕潇宋慧慧樊佳庆江苏省大数据分析技术重点实验室(南京信息工程大学) 南京210044 江苏省大气环境与装备技术协同创新中心(南京信息工程大学) 南京210044

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获... 详细信息

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获取更鲁棒的特征;然后,通过注意力模型提取深层语义信息;最后,将深层语义信息与浅层位置信息进行融合,从而得到更加精确的分割结果。在多个流行的数据集上进行了实验,实验结果表明:在分割运行速度基本不变的情况下,所提算法在DAVIS 2016数据集上的雅卡尔(J)指标相较于学习快速鲁棒目标模型的视频目标分割(FRTM)算法提高了1.8个百分点,综合评价指标为J和F得分的均值J&F相较于FRTM提高了2.3个百分点;同时,在DAVIS 2017数据集上,所提算法的J指标比FRTM提升了1.2个百分点,综合评价指标J&F比FRTM提升了1.1个百分点。以上结果充分说明所提算法能够在保持较快分割速度的情况下实现更高的分割精度,并且能够有效区别相似的前景与背景目标,具有较强的鲁棒性。可见所提算法在平衡速度与精度以及有效区分前景背景方面的优越性能。

关键词：视频目标分割注意力融合深层语义信息浅层位置信息

在线全文

学校读者我要写书评

暂无评论

基于动态嵌入特征的鲁棒半监督视频目标分割

北京航空航天大学学报 2024年

作者：陈亚当赵翊冰吴恩华中国科学院软件研究所南京信息工程大学计算机学院南京信息工程大学数字取证教育部研究中心

针对半监督视频目标分割方法存在推理时内存占用不断增加以及仅依赖低级像素特征训练困难的问题，提出了一种基于动态嵌入特征和辅助损失函数的半监督视频目标分割方法。使用一种动态嵌入特征，建立一个恒定大小的记忆库。通过时空聚合... 详细信息

针对半监督视频目标分割方法存在推理时内存占用不断增加以及仅依赖低级像素特征训练困难的问题，提出了一种基于动态嵌入特征和辅助损失函数的半监督视频目标分割方法。使用一种动态嵌入特征，建立一个恒定大小的记忆库。通过时空聚合方法，利用历史信息生成和更新动态嵌入特征。同时使用内存更新感应器来自适应控制记忆库的更新间隔，适应不同视频的运动模式。使用一种辅助损失函数以在高级语义特征层面上给网络提供辅助指导，并通过在多重特征层面多方面指导，提高模型精度和训练效率。针对视频前背景中相似目标误匹配的问题，设计了一种空间约束模块，以利用视频的时间连续性特性，更好捕获前一帧掩码信息和当前帧之间的关联。实验结果表明，本方法在DAVIS 2017验证集上达到了84.5 J&F的精度，在YouTube-VOS 2019验证集达到了82.4 J&F的精度。

关键词：视频目标分割时空记忆网络时空约束内存更新感应动态嵌入特征

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于注意力修正的半监督视频目标分割

北京工业大学学报 2022年第8期48卷 822-829页

作者：付利华杨寒雪张博王俊翔吴会贤闫绍兴北京工业大学信息学部北京100124

针对现有半监督视频目标分割方法不能同时满足分割精度和分割效率的问题,在传统半监督视频目标分割方法上引入注意力机制对分割结果进行修正.首先,构建一个外观特征提取子网用于提取视频第1帧的特征图,并将其作为外观指导信息;然后,得... 详细信息

针对现有半监督视频目标分割方法不能同时满足分割精度和分割效率的问题,在传统半监督视频目标分割方法上引入注意力机制对分割结果进行修正.首先,构建一个外观特征提取子网用于提取视频第1帧的特征图,并将其作为外观指导信息;然后,得到视频前一帧的分割结果,作为位置引导信息;最后,构建一个当前帧特征提取子网,以双分支的结构结合位置修正注意力与外观修正注意力,将位置信息和外观信息与当前帧特征图进行融合,实现目标分割.实验结果表明,该目标分割方法可以纠正视频目标分割中的传播误差,并能有效提升分割精度.

关键词：视频目标分割注意力机制语义信息通道注意力空间注意力半监督学习

在线全文

学校读者我要写书评

暂无评论

基于孪生网络的快速视频目标分割

电子学报 2020年第4期48卷 625-630页

作者：付利华赵宇孙晓威卢中山王丹杨寒雪北京工业大学信息学部北京100124

视频目标分割是计算机视觉领域中的一个研究热点,传统基于深度学习的视频目标分割方法在线微调深度网络,导致分割耗时长,难以满足实时的需求.本文提出一种快速的视频目标分割方法.首先,参数共享的孪生编码器子网将参考流和目标流映射到... 详细信息

视频目标分割是计算机视觉领域中的一个研究热点,传统基于深度学习的视频目标分割方法在线微调深度网络,导致分割耗时长,难以满足实时的需求.本文提出一种快速的视频目标分割方法.首先,参数共享的孪生编码器子网将参考流和目标流映射到相同的特征空间,使得相同的目标具有相似的特征.然后,全局特征提取子网在特征空间中匹配给定目标相似的特征,定位目标对象.最后,解码器子网将目标特征还原,并通过连接目标流的低阶特征,提供边缘信息,最终输出目标的分割掩码.在公开基准数据集上的实验表明,本文方法的分割速度有大幅度提升,同时具有较好的分割效果.

关键词：视频目标分割计算机视觉深度学习孪生网络特征空间

在线全文

学校读者我要写书评

暂无评论

矩阵的低秩稀疏表达在视频目标分割中的研究

电子科技大学学报 2017年第2期46卷 363-368,406页

作者：顾菘马争解梅电子科技大学通信与信息工程学院成都611731 成都航空职业技术学院航空工程学院成都610100 电子科技大学电子工程学院成都611731

提出了一种视频目标跟踪与分割的在线算法。该算法将每帧图像中的超级像素作为一个数据点,根据已知的目标和背景建立模板,当前帧中待分割的目标可以看成已知模板的稀疏线性表达。根据此线性表达的系数可以建立描述当前帧与模板的相似性... 详细信息

提出了一种视频目标跟踪与分割的在线算法。该算法将每帧图像中的超级像素作为一个数据点,根据已知的目标和背景建立模板,当前帧中待分割的目标可以看成已知模板的稀疏线性表达。根据此线性表达的系数可以建立描述当前帧与模板的相似性矩阵,即表达子。由于视频图像的连续性,表达子具有低秩和稀疏的特征。因此通过求解矩阵的低秩稀疏的优化问题可以得到当前帧中所有数据点属于目标的概率分布。为了获得基于像素级的分割结果,通过能量最小框架,并利用图分割的方法最终实现目标的分割。实验结果表明该算法具有良好的分割效果。

关键词：能量最小图分割低秩稀疏视频目标分割