检索结果-南通市图书馆

检索条件"主题词=最优结构匹配"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

高效融合运动与表观信息的无监督视频目标分割算法研究

高效融合运动与表观信息的无监督视频目标分割算法研究

引用

作者：赵子成南京信息工程大学

学位级别：硕士

无监督视频目标分割的旨在无需引导的情况下自动分离视频帧中的主要前景和背景,并输出像素级的精确分割。无监督视频目标分割在视频编码、场景理解等领域具有重要意义。随着深度学习的兴起,出现了大量基于卷积神经网络的无监督视频目标... 详细信息

无监督视频目标分割的旨在无需引导的情况下自动分离视频帧中的主要前景和背景,并输出像素级的精确分割。无监督视频目标分割在视频编码、场景理解等领域具有重要意义。随着深度学习的兴起,出现了大量基于卷积神经网络的无监督视频目标分割算法,并取得了重大进展和突破,但这些方法仍然受到复杂场景和模型计算代价的限制。本文从运动估计和外观信息出发,探讨了如何构建双流网络来解决上述问题。成果如下:目前流行的无监督视频目标分割方法利用双流网络融合RGB帧和光流,然而,它们无法处理两个输入模态下的干扰噪声,这可能会严重降低模型的性能。本文建立了输入模态之间的对应关系,利用最优结构匹配抑制干扰信号。给定一个视频帧,从RGB图像和光流估计中提取稠密的局部特征,并将其视为两种复杂的结构化表示。然后,利用Wasserstein距离计算将一个模式中的特征传输到另一个模式的全局最小流,每个流的幅度表示两个局部特征之间的对齐程度。为了将最优结构匹配嵌入到一个可以端到端训练的双流网络中,本文将传输代价矩阵分解为多个小的空间块,并设计了一个可微的长短分解Sinkhorn模块,该模块由一个长距离Sinkhorn层和一个短距离Sinkhorn层串联组成,本文将该模块集成到一个双流网络中。本文的实验表明,在DAVIS-16和FBMS数据集上,运动外观的结构对齐可以产生最先进的结果。在上一个工作的基础上,本文进一步探索了外观与运动信息的相关性,研究了算法的轻量化方法,提出了一种基于空洞局部注意机制的无监督视频目标分割算法。网络由双流网络、多头运动引导模块、多尺度外观自增强模块和多尺度渐进融合模块组成。空洞局部注意力机制结合了注意力机制和卷积的优点,在效果和计算复杂度之间取得了平衡。多头运动引导模块利用空洞局部注意机制从运动特征中提取空间信息,得到多组动态卷积核,对外观特征进行卷积,引导外观特征学习高级语义。多尺度外观自增强模块利用空洞局部注意机制提取外观特征的多尺度信息,获得多组动态卷积核,进行卷积以增强外观特征的语义。编码器提取不同阶段的特征,送入多尺度渐进融合模块,将深层特征逐渐融合到浅层特征中,同时保留浅层特征的细节信息,改善目标分割效果。该算法可以进行端到端的训练,模型参数量和计算量较小,推理速度大幅提高,在DAVIS-16和FBMS数据集上优于同期方法,在较难的FBMS数据集上提升了0.5个百分点。

关键词：无监督视频目标分割运动引导最优结构匹配局部注意力

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：