检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于增强特征对齐循环结构的视频超分辨

图像与信号处理 2023年第3期12卷 226-235页

作者：黄相丞刘恒安徽工业大学计算机科学与技术学院安徽马鞍山

不同于单张图像超分辨,视频超分辨需要时空联合考虑以处理连续的低分辨视频从而获取清晰的高分辨连续帧序列。当前,随着深度学习在视频超分辨领域的广泛应用,深度视频超分辨虽已取得显著效果,但仍然存在视频特征信息挖掘不足的问题。特... 详细信息

不同于单张图像超分辨,视频超分辨需要时空联合考虑以处理连续的低分辨视频从而获取清晰的高分辨连续帧序列。当前,随着深度学习在视频超分辨领域的广泛应用,深度视频超分辨虽已取得显著效果,但仍然存在视频特征信息挖掘不足的问题。特别是,从时间维度看,充分提取连续的视频时空特征并有效融合这些特征来实现帧内细腻、帧间稳定的视频超分辨,仍然是当前视频超分辨率研究的主要问题。在这项工作中,本文提出了一个基于增强特征对齐循环结构的视频超分辨网络。首先,我们通过多分支的特征提取模块从不同的深度对输入的特征进行信息提取。其次,在增强特征对齐循环结构中,本文提出从当前帧的多个方向上同时融合相邻帧的信息,并使用相应方向上的光流信息进行辅助对齐。最后,本文提出在多个上采样尺度上对超分结果进行增强。实验结果表明,所提出的方法能获得细节清晰、帧序列稳定的视频超分辨效果,在定量的评估指标和定性的可视化结果等方面都超越了近些年的其他先进方法。

关键词：视频超分辨增强特征对齐循环结构多尺度上采样

维普期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于双字典学习的图像及视频超分辨重建

基于双字典学习的图像及视频超分辨重建

作者：季佩媛西安电子科技大学

学位级别：硕士

超分辨率重建技术是指从单幅或多幅低分辨率图像中重建出一幅清晰的高分辨率图像的过程。传统的超分辨算法包括双线性插值、双立方插值、迭代反向投影、凸集投影法等，这些方法快速、简单、易实现，已被广泛地应用到超分辨重建中。但同... 详细信息

超分辨率重建技术是指从单幅或多幅低分辨率图像中重建出一幅清晰的高分辨率图像的过程。传统的超分辨算法包括双线性插值、双立方插值、迭代反向投影、凸集投影法等，这些方法快速、简单、易实现，已被广泛地应用到超分辨重建中。但同时上述算法也由于其模型过于简单，使得重建图像的质量较低，因此大量的研究人员在不断寻求性能更好的超分辨方法。近年来在图像超分辨领域提出了基于学习的方法，通过学习高分辨图像与低分辨图像之间的关系实现图像的超分辨重建。该方法重建准确且鲁棒性强，已成为超分辨重建研究的重要方向。本文即是在基于学习的框架下，将外部样本学习和内部样本学习结合起来，研究图像和视频超分辨重建的方法，主要工作包括如下几点： (1)针对传统的基于学习的算法对训练样本集极度敏感，重建结果不稳定的特点，提出一种基于双字典学习的图像超分辨重建方法。该方法通过外部训练样本集和内部训练样本集得到多组重建结果，并通过低秩分解的方式进行融合，相较于单字典学习策略可以获得更稳定的重建结果，而且在细节信息的重建效果方面也有所提高。实验表明所提出算法不论在视觉效果还是客观评价上，相比单字典学习均有所提高。 (2)针对视频超分辨问题，从视频背景建模入手，提出一种基于信息补偿的视频背景建模方法。该方法在基于低秩的前后背景分离算法基础上，引入信息补偿的策略，从而可以获得更好的背景建模结果。实验表明提出算法重建的背景图像较原有基于低秩的背景建模方法可获得细节更丰富的背景图像。 (3)提出一种基于邻域双字典学习的视频超分辨重建算法。视频与单幅图像相比，相邻帧之间存在丰富的冗余信息。本方法将邻域帧的信息引入到双字典学习模型中，并将其应用在视频的超分辨重建过程中。实验结果表明所提出方法较双字典学习算法可以获得更好视频超分辨效果，重建视频的高频信息更加丰富。

关键词：图像超分辨双字典学习视频背景建模视频超分辨

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的视频超分辨重建

基于深度学习的视频超分辨重建

作者：巨丹西安电子科技大学

学位级别：硕士

随着多媒体信息的快速发展,数字图像和视频广泛应用于生活中的各个领域,比如气象遥感、军事作战、公共安全等。然而实际生活中,由于各种无法避免的因素导致图像和视频的分辨率水平不能到达人们的要求,这些因素有成像系统自身条件,光学... 详细信息

随着多媒体信息的快速发展,数字图像和视频广泛应用于生活中的各个领域,比如气象遥感、军事作战、公共安全等。然而实际生活中,由于各种无法避免的因素导致图像和视频的分辨率水平不能到达人们的要求,这些因素有成像系统自身条件,光学器件制造工艺水平,外界因素及传输设备等。要想得到高分辨率的视频和图像,一般情况下,从软件方面提高图像和视频的分辨率,这个过程就用到图像和视频的超分辨重建方法。图像超分辨率重构是指对一幅低分辨率图像进行处理,恢复出高分辨率图像的一种图像处理技术。视频超分辨重建是建立在图像超分辨重建基础之上,相当于对多帧图像进行超分辨重建,视频最重要的特点是视频帧间具有相关性。现有的视频超分辨重建方法大致可以分为两类:基于运动估计的方法和自相似性方法。基于运动估计的方法只能适用于两帧图像之间的物体运动是平移运动且位移量不是很大的情况。自相似性方法只能对图像的自相似性作一粗略的判断,不能包括所有的情况。以上现有的方法计算复杂度高且重建效果不好。目前,许多不同结构的深度网络模型在单帧及多帧图像超分辨率的重构精度和计算性能上取得了巨大的进步。本文针对基于深度学习的视频超分辨问题展开研究,主要工作和贡献点如下:1.提出一种基于深度学习的空间维视频超分辨重建算法。通过分析挖掘视频图像存在丰富的帧间相关性的特点,将卷积神经网络和视频超分辨重建结合起来。通过三维滤波器提取视频的帧间相关性,同时采用亚像素插值法对高分辨率图像进行重建。实验结果表明,与现有方法相比,所提算法能够获得更稳定的重建结果,以及更加丰富的细节信息。2.进一步地,提出了一种基于深度学习的时间维超分辨算法,即进行视频的帧间插值。在我们的网络中,将时间维高分辨的视频作为网络输出的一组特征图。通过训练神经网路,我们的帧间插值滤波器不止利用了帧间的相关信息,还利用了帧内的局部结构信息,从而能够得到较好的时间维度高分辨率重构视频。实验结果表明所提出方法可以获得更好帧间插值效果,重建视频的时间维度信息更加丰富。

关键词：深度学习三维滤波器卷积神经网络视频超分辨

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的视频超分辨技术研究

基于卷积神经网络的视频超分辨技术研究

作者：敬琳萍电子科技大学

学位级别：硕士

近年来,高清电视、在线直播等视频应用出现在人们工作与生活中的各个方面,然而由于各应用系统存在处理能力、存储容量以及传输带宽等因素的制约,现有的视频系统难以提供充足的高清视频源。为了得到高质量的视觉效果,视频超分辨技术成为... 详细信息

近年来,高清电视、在线直播等视频应用出现在人们工作与生活中的各个方面,然而由于各应用系统存在处理能力、存储容量以及传输带宽等因素的制约,现有的视频系统难以提供充足的高清视频源。为了得到高质量的视觉效果,视频超分辨技术成为了目前图像领域中备受关注的重要研究方向。视频超分辨是将低分辨率视频帧经过相关的图像处理算法,增加其像素密度,恢复其退化过程中丢失的细节信息,从而得到对应的高分辨率视频帧。现有的一些视频超分辨方法是利用当前低分辨率视频帧及其相邻视频帧来实现当前帧的超分辨。由于当前帧和相邻帧都是低分辨率图像,缺少包含细节纹理的高频信息,因此,在此基础上恢复的高分辨率视频帧仍存在细节不够准确,甚至过度模糊的问题。此外,在实际应用中,视频帧的退化方法复杂多样,也使得这些超分辨方法的结果不如预期。本文从以上两个问题出发展开相关研究工作,主要研究内容如下:1.结合卷积神经网络与视频帧图像的特点,提出了一种基于混合分辨率模型的视频超分辨方法,其网络模型的输入是当前低分辨率帧和与其相关的高清帧,而不是连续的低分辨率帧。混合分辨率模型利用高清帧提供高频信息的先验知识,提升网络模型对边缘细节的恢复能力。同时引入残差学习,实现不同层次特征的跳跃连接,增加网络模型的非线性映射能力。本文通过多组对比实验详细地分析了混合分辨率模型、残差学习以及运动模块对网络模型性能的影响。实验结果表明,与现有方法对比,本文提出的方法能够获得主客观性能更好的视频超分辨结果。2.现有的超分辨方法大多只考虑了双三次下采样这一种退化方式,一旦退化方法更加复杂,其超分辨质量则有所下降。对于这个问题,本文在混合分辨率模型的基础上提出了一种针对多退化因素的视频超分辨方法,涉及的退化因素除了双三次下采样,还增加了模糊和噪声两种常见的退化因素,使得低分辨率视频帧更加接近实际应用中的图像。本文将退化因素转换为退化特征图,提供退化方式的先验知识,同时进一步改进退化特征图的估计模型来适应退化方式未知的视频帧。通过实验与现有方法对比,本文提出的方法可以较好地处理多退化因素的视频超分辨问题。

关键词：视频超分辨卷积神经网络混合分辨率视频残差学习多退化因素

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于样例学习和关键帧的视频超分辨重建

基于样例学习和关键帧的视频超分辨重建

作者：张阳西安电子科技大学

学位级别：硕士

随着社会的进步以及人们生活水平的提高，人们对于图像或视频的清晰度要求也越来越高，然而在现实生活中，由于硬件设施的成本问题还有硬件设备的局限性，导致获得的图像往往掺杂了一些模糊以及噪声，分辨率也下降了很多。研究者们发现... 详细信息

随着社会的进步以及人们生活水平的提高，人们对于图像或视频的清晰度要求也越来越高，然而在现实生活中，由于硬件设施的成本问题还有硬件设备的局限性，导致获得的图像往往掺杂了一些模糊以及噪声，分辨率也下降了很多。研究者们发现为了提高图像或者视频的分辨率，可以从拍摄设备这方面考虑，也可以软件实现方面考虑。从软件实现方面来提高图像或视频的超分辨，这也就是后来常说的超分辨重建技术。本文在此基础上提出了两种基于学习的方法，所做的工作包括了以下几点：（1）提出一种基于块聚类和局部自相似性的图像超分辨重建方法。Galid[27]提出了一种基于图像自相似性的算法，利用图像自身所包含的细节信息进行图像超分辨，但是其找到的匹配图像块有限，且对于匹配块的要求也很高，为了解决这个问题，我们采用块聚类的方法以获得更多的相似图像块，解决对于匹配要求过高的难题。另外我们也通过实验对于算法进行了验证，实验表明无论是从视觉上还是从评价指标上，其算法都优于同类型的基于学习的方法。（2）提出一种非局部约束和关键帧的视频超分辨重建算法。我们引入了关键帧这一概念，在传输视频的时候我们在视频中传输几帧高分辨率图像也就是关键帧，利用这几帧高分辨率图像对视频进行超分辨重构;我们对于获取的高分辨率图像块进行聚类，然后再在聚类中找到与输入的低分辨率图像块最为相似的图像块，这样做不需要亚像素的精确配准，解决了运动估计的难题。通过实验的验证，重建视频细节信息丰富。在此基础上提出了一种基于非局部正则化和关键帧的视频超分辨重建算法，将正则化的思想运用到非局部的思想中，在输入的视频具有噪声和模糊时，能够较好的保持图像的边缘。并通过实验证明了算法的有效性，重建的视频具有很好的效果。

关键词：图像超分辨图像块聚类图像自相似性关键帧视频超分辨

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的视频超分辨方法的研究

基于注意力机制的视频超分辨方法的研究

作者：乔雨楠安徽工业大学

学位级别：硕士

近些年,在计算机视觉领域中,视频超分辨任务作为底层视觉任务的代表,越来越受到研究学者们的广泛关注。视频超分辨的目的以及原理与图像超分辨相差无几,所以使用一般的单幅图像超分辨方法也是可以解决视频超分辨问题的。但是相比于图像... 详细信息

近些年,在计算机视觉领域中,视频超分辨任务作为底层视觉任务的代表,越来越受到研究学者们的广泛关注。视频超分辨的目的以及原理与图像超分辨相差无几,所以使用一般的单幅图像超分辨方法也是可以解决视频超分辨问题的。但是相比于图像超分辨,视频超分辨存在两大挑战,一是视频帧间的特征对齐,通过相邻帧与目标帧的对齐处理运动信息;二是视频帧间融合,保证视频在时序上是连贯一致的。目前,利用深度学习解决视频超分辨任务的方法越来越多,效果也在一直精进。本文主要基于深度学习中的注意力机制,探讨了注意力机制以及相关的深度学习方法在视频超分辨算法和应用中的可行性和有效性。本文首先介绍了视频超分辨的研究现状,然后解释了视频超分辨技术和注意力机制的原理并分析了应用相关技术的超分辨方法。最后提出了不同的基于注意力的视频超分辨模型并对模型的应用和效果进行研究分析。(1)具有自注意力对齐功能的双重注意力可实现有效的视频超分辨由于目前很多视频超分辨模型中的对齐方法是运动补偿,致使模型参数过多,计算量大。因此,提出利用自注意力模式进行对齐,并采用双重注意力进行特征增强。相比于已有的一些方法在很大程度上减小了模型的计算负担。另外,鉴于传统残差块缺少层级之间的联系,我们采用残差密集块来获得更深层的特征。实验结果证明该方法对于恢复高分辨率视频的有效性。(2)基于视频超分辨中注意力相关性的研究针对目前利用两个注意力的模型都没有对两个注意力之间的关系进行专门的研究。因此,提出了一个简明的验证模型来对两个注意力之间是否存在线性相关性进行了探究分析,并利用可视化方式验证了两个注意力之间的相互独立性。(3)基于多个注意力结合光流的视频超分辨根据视频中存在程度不同的运动信息,提出了双阶段特征对齐的思想。光流的优势在于解决微小程度运动的估计,而可变形卷积具有良好的形变建模能力,可以解决大型运动的估计。实验结果表明该思路结合注意力的加权增强能力可以有效实现视频恢复的性能。

关键词：视频超分辨注意力机制注意力相关性特征对齐光流估计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运动补偿的视频超分辨技术研究

基于运动补偿的视频超分辨技术研究

作者：王世豪电子科技大学

学位级别：硕士

视频超分辨是将细节粗拙的低分辨率视频进行处理,获得对应的具备更好视觉质量和细节信息的高分辨率视频的技术。运动补偿是视频超分辨技术中一种常用的对低分辨视频帧进行处理的方法,其目的是更好地利用相邻视频帧中的相似区域,以获得... 详细信息

视频超分辨是将细节粗拙的低分辨率视频进行处理,获得对应的具备更好视觉质量和细节信息的高分辨率视频的技术。运动补偿是视频超分辨技术中一种常用的对低分辨视频帧进行处理的方法,其目的是更好地利用相邻视频帧中的相似区域,以获得更高的视频超分辨质量。如何对低分辨视频中相邻帧的信息进行有效的提取和利用,是视频超分辨技术的重点,也是国内外研究的热点。本论文针对该问题,借助深度学习和卷积神经网络,开展了如下工作:1.分析视频超分辨的主要技术路线和研究历史,查阅大量资料,结合近年来图像处理领域研究最为集中的卷积神经网络,提出了一种对视频中多个相邻帧进行特征提取和融合的多帧融合网络。通过设计一个多支路的卷积神经网络,对输入网络的低分辨视频相邻帧分别进行特征提取和融合,提高了超分辨视频的连贯性和质量。2.针对视频帧中常常同时存在大尺度物体和小尺度物体的特点,提出多尺度残差网络。该网络块可以增强视频超分辨网络对不同尺度物体的超分辨能力,实现超分辨网络总体性能的提高。3.针对常规视频超分辨方法在初始特征提取阶段进行单一的卷积操作,不能很好地对多尺度特征进行提取的问题,提出多分支的初始感知模块,增强超分辨神经网络对图像特征的初始提取能力。4.针对光流法对时间跨度较大的视频相邻帧不适用,存在较大误差,进而影响超分辨性能的现象,提出渐进运动补偿策略,有效降低运动补偿误差。5.针对卷积神经网络难以提取空间跨度较大的相似图像块信息的现象,在初始特征提取阶段引入非局部神经网络,实现高效的空间特征提取。6.针对传统卷积神经网络简单地将组成网络的构建块进行级联,使得模型多尺度映射能力差、感受野单一的情况,提出多尺度网络架构作为网络的基础构建形式,可以嵌入多种多样的构建块,在不改变构建块结构的情况下,赋予神经网络多尺度映射能力,进一步提高了视频超分辨网络的性能。综合上述技术,本文构建了一个端到端的卷积神经网络。实验表明,整体神经网络的视频超分辨性能达到当下的先进水平。

关键词：视频超分辨卷积神经网络运动补偿多尺度残差网络光流

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度递归网络的视频超分辨

基于深度递归网络的视频超分辨

作者：温伟磊西安电子科技大学

学位级别：硕士

随着显示设备的不断更新,现存的低分辨率视频已经无法满足其对高分辨率的需求,这在与视频相关的工业领域已经成为亟待攻破的技术难关之一。视频超分辨算法正是解决此类问题的重要技术。近些年,学者已经提出多种视频超分辨率模型来解决... 详细信息

随着显示设备的不断更新,现存的低分辨率视频已经无法满足其对高分辨率的需求,这在与视频相关的工业领域已经成为亟待攻破的技术难关之一。视频超分辨算法正是解决此类问题的重要技术。近些年,学者已经提出多种视频超分辨率模型来解决低分辨率视频退化问题,并取得令人印象深刻的性能。但是由于现存方法要么不对相邻视频帧做对齐要么利用光流方法显式地进行图像对齐,导致重建视频的一致性和主观效果难以达到实际需求。鉴于此,本课题拟对低分辨率图像及视频的超分辨算法进行研究,并提出改进模型对低分辨视频内容进行恢复重建。本文的主要研究内容和贡献如下:1)在图像及视频超分辨算法中,特征提取是最为关键的步骤之一,针对Res Net网络不对特征重要程度进行区分,使得特征提取能力不足问题,我们采用了引入注意力机制的Res Ne St网络,修改其中的拆分注意力模块。我们去掉其中的批归一化层,并基于修改后的拆分注意力模块设计出特征提取主干网络。另外在各卷积层之间,采用跳跃连接将信息更好的传到后边卷积层,以便于网络能够提取丰富有效的特征信息。2)本文提出利用动态卷积进行图像特征对齐的方法。视频帧间对齐是视频超分辨的重要步骤,先前的视频超分辨方法通常会对相邻帧实施运动估计和运动补偿以进行帧间对齐,运动估计通常采用光流法,但是,准确估计光流非常困难,不准确的光流将会对视频超分辨的结果带来伪影影响。为了解决上述问题,本文提出一种新颖的端到端深度卷积网络,该网络动态生成用于对齐的空间自适应滤波器,该滤波器由每个通道的局部像素构成。我们的方法避免了显式运动补偿,而是利用自适应滤波器来实现对齐操作,有效地融合了多帧信息并提高了视频的时间一致性。3)综合以上网络模型,针对低分辨图像问题,本文首先设计出一种基于拆分注意力的单张图像超分辨算法,由于单张图像超分辨与视频超分辨方法之间的原理相同,自然而然,本文又将超分辨算法从图像拓展到视频,设计出端到端的基于深度递归网络的超分辨模型。给定连续多帧的输入,经过图像特征提取、对齐与融合,复用相邻帧信息,通过上采样重建后输出中间帧的超分辨重建结果。在涵盖众多类型的视频数据集上的评估结果均表明:在纹理细节和视频一致性等方面,本文提出的方法优于现存的一些方法。

关键词：视频超分辨动态卷积视频一致性深度递归网络特征对齐

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空注意力的双分支视频超分辨率网络

沈阳航空航天大学学报 2022年第1期39卷 45-53页

作者：刘翠微丁彩胤李侃颜卓石祥滨沈阳航空航天大学计算机学院沈阳110136

视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像。基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题。本网络由一... 详细信息

视频超分方法对多幅低分辨图像进行融合、运动补偿等处理,重构一幅高分辨率图像。基于时空注意力的双分支视频超分辨率网络对运动补偿后的低分辨率图像分配不同的权重,并且引入梯度信息避免超分辨率图像出现结构失真等问题。本网络由一个重建高分辨率图像的图像分支和一个产生高分辨率梯度图的梯度分支组成。图像分支采用一组运动补偿后的低分辨率图像作为输入,并使用时空注意力残差块突出显示信息丰富的局部区域以及关键的时间通道,来恢复丢失的高频细节。梯度分支根据运动补偿后低分辨率图像的梯度图学习显著的结构信息。这两个分支通过融合不同层次的中间特征相互提供先验知识。最后将梯度分支重构的高频结构信息反馈到图像分支,进一步提高超分辨率视频帧的结构一致性。在Vid4和SPMCS-11数据集上验证了本模型的有效性。

关键词：视频超分辨双分支视频超分辨率网络时空注意力梯度图结构一致性