检索结果-南通市图书馆

维普期刊数据库博看期刊

伪时空图卷积网络修复姿态引导的Transformer行人视频修复方法

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年第4期36卷 552-564页

作者：唐福梅聂勇伟余嘉祺张青李桂清华南理工大学计算机科学与工程学院广州510006 中山大学计算机学院广州510006

为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序... 详细信息

为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序列,针对其因存在遮挡情况导致未识别出和未准确识别部分关节点的问题,提出了一种伪时空图卷积网络模型对缺失姿态进行修复,得到一个相对准确的姿态序列;基于修复后的姿态,提出了基于姿态序列引导的Transformer行人视频修复模型.在Human3.6M数据集上进行了测试,所提出的方法在4个指标PSNR,RMSE,SSIM,LPIPS上均比对比方法有提升,特别是RMSE指标提升了9.50%,LPIPS指标提升了21.67%.

关键词：深度学习图卷积神经网络 Transformer 人体姿态补全视频修复

在线全文

学校读者我要写书评

暂无评论

基于深度学习的视频修复方法综述

信号处理 2024年第6期40卷 1171-1184页

作者：陈婧王恺星左雨亭林琦曾焕强华侨大学信息科学与工程学院福建厦门361021 华侨大学工学院福建泉州362021

视频作为常见的媒体信息之一,目前已在各个领域得到广泛应用。尤其是以抖音等为代表的短视频软件的兴起,使得与视频相关的技术不断迭代更新。其中,视频修复技术是视频处理研究中的一个热点。视频修复技术是利用视频帧内的像素信息和帧... 详细信息

视频作为常见的媒体信息之一,目前已在各个领域得到广泛应用。尤其是以抖音等为代表的短视频软件的兴起,使得与视频相关的技术不断迭代更新。其中,视频修复技术是视频处理研究中的一个热点。视频修复技术是利用视频帧内的像素信息和帧间的时域参考信息对视频帧受损的区域进行内容推理并修复,在补全缺损视频、物体移除及视频伪造检测等场景中具有广泛应用前景。该技术可追溯到二十世纪末的老电影修复技术,该任务通常由专业的技术团队逐帧修复完成。而随着数字技术的发展,近年来已有一些人工智能技术用于视频修复,让老电影重获新生。目前,视频修复技术可分为传统方法和基于深度学习的两类方法。其中,传统方法由于缺少对高层语义信息的理解,在场景复杂、缺失区域较大的情况下修复效果不佳;而基于深度学习的方法随着算法框架的优化和图形处理器性能的提升展现了出色的效果,对修复结果的语义结构准确性和时间一致性都有明显的提升。本文在简要回顾传统视频修复方法的基础上,重点分析四类基于深度学习视频修复方法的网络结构、参数模型、性能表现与优缺点;介绍视频修复领域中常用的数据集和评价指标;最后,对视频修复领域现存的问题进行总结并展望未来可能的研究方向。

关键词：视频修复视频缺损深度学习帧间信息评价指标

在线全文

学校读者我要写书评

暂无评论

基于深度学习的视频修复方法研究

基于深度学习的视频修复方法研究

作者：方国枫重庆理工大学

学位级别：硕士

视频修复（Video Inpainting）是在视频序列中自动填充那些由于各种原因（损坏或遮挡等）而缺失的像素区域。它能够显著提升视频的质量和观看体验,在视频编辑、修复、影视特效、电影后期制作等领域都有实际的应用。尽管基于深度学习的... 详细信息

视频修复（Video Inpainting）是在视频序列中自动填充那些由于各种原因（损坏或遮挡等）而缺失的像素区域。它能够显著提升视频的质量和观看体验,在视频编辑、修复、影视特效、电影后期制作等领域都有实际的应用。尽管基于深度学习的视频修复方法取得比传统方法的更优的效果,但是由于时间-空间上下文信息利用不足,会产生时间伪影（artifacts）,恢复的细节也模糊。基于Transformer的方法尽管可以更加充分利用时间-空间上下信息,从而改进视频修复的效果,但是所需要的计算资源增加较大,训练及推理的效率都较低。另外,基于Transformer的方法对局域特征利用不足,在时间连贯性及恢复的纹理细节信息方面还存在不足。1.为了解决基于Transformer的视频修复方法所需计算资源较大的问题,本文提出了一种基于混合池化Transformer的视频修复方法（MPF）。（1）使用基于全局匹配的光流估计方法,提高了光流的估计准确度。（2）提出了基于混合池化的注意力机制,减少了Transformer参数量。（3）结合特征双向光流传播模块,设计了一种两阶段的视频修复网络结构用来弥补Transformer参数量减少带来的精度损失。实验结果表明,该方法在保持着具有竞争力性能的同时,显著提高了基于Transformer的视频修复模型的处理速度。2.为了平衡基于Transformer视频修复方法计算代价、局域细节特征的利用及时空感受野,提出了一种空间-时间交叉窗口Transformer架构（STCWT）。该框架交替堆叠跨多帧3维交叉窗口Transformer及帧内的2维交叉窗口Transformer。其中3维窗口Transformer能够捕捉相邻帧之间的上下文信息,2维窗口Transformer则专注于聚合帧内的上下文信息。为了进一步修复纹理细节信息,引入了混合尺度编码器和重叠块嵌入来捕获邻域局部细节特征。实验结果表明,该架构保持较低的计算成本的同时,获得比STTN、DSTT、Fuse Former、EFGVI等目前先进视频修复方法更好的修复效果。3.为了将视频修复方法实用化,本文将提出的方法实现为一个轻便的视频修复系统。该系统可以在本地接收用户提供的视频并返回修复结果,系统具有简洁明了的界面和良好的交互界面。

关键词：视频修复时空窗口注意力光流传播深度学习 Transformer

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空注意力模型的视频修复研究

基于时空注意力模型的视频修复研究

作者：孙祎秋烟台大学

学位级别：硕士

随着摄像设备的普及,视频作为一种常见的媒体信息,已经在各个领域得到了广泛地应用。在这些应用中,视频修复技术是一个备受关注的研究热点,它在视频处理领域发挥着重要的作用。视频修复技术大致可以分为两种,一种是观感视频修复,一种是... 详细信息

随着摄像设备的普及,视频作为一种常见的媒体信息,已经在各个领域得到了广泛地应用。在这些应用中,视频修复技术是一个备受关注的研究热点,它在视频处理领域发挥着重要的作用。视频修复技术大致可以分为两种,一种是观感视频修复,一种是内容视频修复。观感视频修复就是一项提高用户视频观看体验的技术,视频稳定就是观感视频修复中最常见的一种。而内容视频修复是一项针对视频损坏区域进行自动填充的技术,从实现方法的角度来看,视频修复技术主要可以划分为传统方法与基于深度学习的方法两大类别。传统方法在处理包含复杂场景或低质量的视频时,往往会受限于对视频纹理和轮廓信息的理解不足,导致修复效果不尽如人意。然而,随着深度学习的崛起,神经网络在提取视频中的特征信息时更具优势,基于深度学习方法在视频修复方面展现出了卓越的性能。但是视频修复技术不同于图像修复技术,当视频中出现明显的动态前景物体时,该技术在完成内容修复的同时还要兼顾视频中物体的运动预测。针对上述问题,本文主要研究内容如下:第一,针对当前摄像设备多样导致的视频内容拍摄质量良莠不齐,视频画面包含严重抖动的问题,提出了一种基于鲁棒单应性估计的无监督深度视频稳定方法。本文认为目前视频稳定方法中常见的失真现象是由视频内的动态前景区域和低质量特征所导致的。因此,本文在稳定操作之前,先获取视频的动态前景掩膜和视频特征置信度图,用于缓解动态前景区域和低质量特征所带来的负面影响。然后,引入自注意力机制,对这些特征使用的自注意力卷积特征提取方法。充分利用画面的局部和全局信息,估计出视频拍摄相机的运动轨迹。最后,再使用全局单应性配准的方法将视频帧画面的内容进行稳定。在整个框架的训练过程中,将图像特征像素值之间的差异作为损失函数,不需要额外的一段稳定视频来做参照数据,是一种无监督的视频稳定方法。在NUS、Selfie和Deepstab数据集上的测试结果表明,该方法能够在裁剪度、失真度和稳定性三个指标上取得更好的成绩。尤其是失真度指标,最大程度地保证了和原视频内容的一致性,这证明了本方法的有效性。第二,针对内容视频修复技术不仅要保证空间内容完整性和时间内容的连续性,当视频中出现明显的动态前景物体时,还要兼顾物体运动预测的问题,提出了一种基于光流引导的全局—局部视频内容填充方法。为了应对视频中出现动态前景物体的情况,该方法将视频的光流数据作为指导信息用于填充。并且在获取光流数据的过程中引入了伪三维卷积结构,实现视频时空维度的光流信息聚合。即使使用内容缺失的视频进行光流估计,也能获得一段完整的光流序列。在光流数据的指导下,为了兼顾填充结果的空间内容完整性和时间内容的连续性,引入了时空Transformer的结构进行特征提取。时空Transformer结构利用自注意力机制,在提取特征时兼顾局部和全局信息的基础上,还考虑到了将视频内时间和空间两个维度中的特征信息进行聚合,完成初步的视频内容填充。对于完成了初步内容填充的结果,再使用由粗到细的编解码网络对填充内容的细节部分进行优化,最终得到一段内容完整的视频。实验结果表明,所提方法在Youtube-VOS和DAVIS数据集上能够实现最好的性能。

关键词：视频修复视频填充视频稳定深度学习自注意力

基于Real ESRGAN的视频修复系统研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

科技创新与应用 2024年第15期14卷 46-49,54页

作者：黄杰夏远洋杨晓杰王思洁田佩刘涛重庆对外经贸学院大数据与智能工程学院重庆401520

图像修复和视频修复是计算机视觉的一项重要任务,其中图像修复又是视频修复的基础。为此,如何有效提升图像质量是实现视频质量提升的关键。传统的图像修复算法主要以样本信息为基础,通过对样本内容的扩撒来实现对破损区域的修复;由于这... 详细信息

图像修复和视频修复是计算机视觉的一项重要任务,其中图像修复又是视频修复的基础。为此,如何有效提升图像质量是实现视频质量提升的关键。传统的图像修复算法主要以样本信息为基础,通过对样本内容的扩撒来实现对破损区域的修复;由于这种方式对于图像样本有一定要求,从而制约传统图像修复技术的发展。为此,以生成新图像内容为基础的神经网络如GAN的出现,为图像修复技术转向深度学习提供方向。该课题主要以Real ESRGAN网络的图像修复技术为基础,通过对音频视频数据的隔离处理以及相同帧数据的优化和标记,构建视频修复处理流程。通过对随机视频样本的测试,并通过对单帧图片质量和视频数据流畅性与协调性的评估,该视频处理方法表现出较好的系统性能。

关键词：图像分割神经网络视频修复 Real ESRGAN 图像修复

在线全文

学校读者我要写书评

暂无评论

AI算法在视频修复运用中的应用

家庭影院技术 2024年第4期330卷 55-57页

作者：肖聪榕广东白云学院艺术设计学院

人类文明对于图像艺术产物的修复有着悠久的历史。早在文艺复兴时期，许多欧洲艺术家们为了修复损坏的画作等艺术品，就根据想象力以手工方式修复画作。随着科技的进步，人类社会进入了数字媒体时代，对于图像艺术的修复观念以数字媒体... 详细信息

人类文明对于图像艺术产物的修复有着悠久的历史。早在文艺复兴时期，许多欧洲艺术家们为了修复损坏的画作等艺术品，就根据想象力以手工方式修复画作。随着科技的进步，人类社会进入了数字媒体时代，对于图像艺术的修复观念以数字媒体技术等现代技术手段广泛应用并取得了出色的成果。但相对于外国对AI等数字媒体技术研究的蓬勃发展，中国国内对于数字图像、视频的修复以及AI图像处理技术的研究起步较晚，仍有较大的发展和提高空间。

关键词： AI图像数字算法视频修复

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于时空全局优化的视频修复

计算机辅助设计与图形学学报 2008年第9期20卷 1204-1211页

作者：肖春霞刘舒林成春聂勇伟刘梦彭群生武汉大学计算机学院武汉430072 浙江大学CAD&CG国家重点实验室杭州310058

提出一种基于样本的视频修复算法,将视频修复问题看作是嵌入到时空视频体中的一个三维图的离散的全局优化问题,可有效地修复视频中较大破损的区域.首先建立待修复视频的马尔科夫随机场(MRF),然后设置新的目标函数,将修复问题转化为马尔... 详细信息

提出一种基于样本的视频修复算法,将视频修复问题看作是嵌入到时空视频体中的一个三维图的离散的全局优化问题,可有效地修复视频中较大破损的区域.首先建立待修复视频的马尔科夫随机场(MRF),然后设置新的目标函数,将修复问题转化为马尔科夫随机场的多标号问题,使待修复区域与其周围区域在颜色的相似性和运动的相似性保持一致性.进而提出了灵巧置信传播求解算法,有效求解此目标函数,大大降低了标准置信传播算法的时空复杂度.还提出了与视觉相关的像素权值的概念,使得算法能更好地按照视觉合理性计算时空块的相似度.对复杂动态场修复结果实验表明,较现有算法,文中算法能更好地修复出显著结构和运动信息.

关键词：视频修复置信传播结构运动信息

在线全文

学校读者我要写书评

暂无评论

基于样本的图像修补方法在视频修复中的应用

应用科学学报 2010年第2期28卷 163-169页

作者：谷伊韩军上海大学通信与信息工程学院上海200072

将基于样本的图像修补方法用于视频修复,利用视频序列时间上的相关性对修补方法进行改进,提出一种对视频序列损伤的修补方法,可解决检测不到的视频损伤的修补难题.实验表明,与基于样本的图像修复方法相比,文中方法的修补效果更好,避免... 详细信息

将基于样本的图像修补方法用于视频修复,利用视频序列时间上的相关性对修补方法进行改进,提出一种对视频序列损伤的修补方法,可解决检测不到的视频损伤的修补难题.实验表明,与基于样本的图像修复方法相比,文中方法的修补效果更好,避免了错误填充和错误蔓延,提高了修补效率.

关键词：视频修复图像修补优先权最佳样本块纹理综合

在线全文

学校读者我要写书评

暂无评论

结构约束的全局目标函数视频修复方法

计算机辅助设计与图形学学报 2019年第3期31卷 455-466页

作者：杨瑞唐向宏张越杭州电子科技大学通信工程学院杭州310018

针对一致性修复方法仅利用视频的颜色和运动特征来优化目标函数,导致无法准确预测未知区域像素值的问题,将视频的结构信息引入到目标函数中,提出结构约束的视频修复方法.首先计算破损视频的时空金字塔,在从上到下的第1层金字塔中先修复... 详细信息

针对一致性修复方法仅利用视频的颜色和运动特征来优化目标函数,导致无法准确预测未知区域像素值的问题,将视频的结构信息引入到目标函数中,提出结构约束的视频修复方法.首先计算破损视频的时空金字塔,在从上到下的第1层金字塔中先修复破损部分边界上的像素;然后采用加权平均方式完成破损像素的重建,对权值重新定义,再更新边界,修复新边界上的像素,完成第1层金字塔的修复;最后用相同方法依次修复各层金字塔,直到所有破损像素都被修复.采用不同方法对不同复杂场景视频进行修复并用峰值信噪比和结构相似度进行评价,实验结果表明该方法取得了更好的视觉效果,峰值信噪比平均提高1～3 dB.

关键词：视频修复时空金字塔全局目标函数结构特征因子近似最近邻搜索