检索结果-南通市图书馆

具有自动场景划分的多模板视频着色算法的研究与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

具有自动场景划分的多模板视频着色算法的研究与实现

作者：刘兴业中北大学

学位级别：硕士

视觉是人类获取外界信息最主要的方式,相比于黑白视频,彩色视频可以给予人类更多的信息资源,视频着色作为一种技术,可以用于恢复黑白电影与增强科学成像的结果等。视频着色是在图像着色的基础上,保证视频在播放的时候颜色不会发生闪烁... 详细信息

视觉是人类获取外界信息最主要的方式,相比于黑白视频,彩色视频可以给予人类更多的信息资源,视频着色作为一种技术,可以用于恢复黑白电影与增强科学成像的结果等。视频着色是在图像着色的基础上,保证视频在播放的时候颜色不会发生闪烁的情况,也就是保证时间一致性。现在,视频着色技术在解决时间一致性时主要使用参考模板指导视频进行着色和依赖相邻视频帧进行颜色传播,前者需要选用与视频场景相似的参考图像而后者则先对某几帧进行图像着色然后传播给相邻的视频帧,但是两者都有一个共同的问题,由于视频是动态的,视频的内容充满随机性,因此当视频中的场景发生变化时,使用相邻帧或者同一参考图像进行上色将会生成不合实际的颜色。随着深度学习和数字图像处理技术的发展,在各个图像处理领域都得到了突破性的进展,因此本文结合深度学习和数字图像处理技术对视频着色进行了研究,具体的创新点与工作内容如下:(1)分析了目前各种视频着色方法中存在场景来回变化而导致产生的彩色视频里前后颜色不一致现象,提出了在基于参考模板的视频着色之前进行视频的场景分割与快速图像检索的思想,本文为多模板视频着色服务为目的改进了镜头边界检测方法与图像检索方法。首先利用训练好的VGG19对视频帧进行特征提取,使用自适应局部阈值对视频进行分段处理,排除大部分不存在边界帧的视频段,提高检测效率,再结合视频相邻帧之间的差异与关键帧和后续帧之间的关系,将视频帧划分成非过渡帧、突变过渡帧和渐变过渡帧,通过边界帧使用基于内容的图像检索方法进行检索,图像检索方法中加入了图像去噪与哈希编码可以更快更准的找到恰当的参考图像,将参考图像与灰度帧输入到后续的视频着色网络中进行着色。最后通过边界准确率、召回率和F分数三个评价指标进行评估;(2)为解决视频着色后产生的颜色有闪烁现象、颜色不符合实际的问题,本文构建并训练了一个基于多模板的端到端视频着色网络,结合之前的镜头边界检测模块与图像检索模块,建立了一种具有自动场景划分的多模板视频着色算法,这个视频着色网络分为两部分,一部分是对应网络用来进行参考图像与灰度帧的语义对应,另一部分是加入跳跃连接的U-net着色网络进行对黑白视频的上色。实验表明,该网络框架可以依据给予的参考图像和任意一段黑白视频进行指导上色,产生令人满意的着色效果,相比于近年来视频着色的方法,在一定程度上改善了视频颜色抖动、颜色不合实际的问题;(3)设计了一个基于深度学习的视频着色系统。该系统主要基于本文的着色网络U-net模型的基础上,再结合Python、PySimple GUI与PyQt5进行实现,除此以外该系统还可以进行图像着色,除了使用本文的着色模型之外,加入了一个分类网络进行图像着色来进行结果对比,用户可以根据图像的着色结果选择自己想要的彩色图像。还添加了其他功能,如:图像增强、图像缩放等。

关键词：视频着色边界检测时间一致性深度学习图像检索

基于生成对抗网络的视频着色方法研究与软件实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于生成对抗网络的视频着色方法研究与软件实现

作者：李赟红青岛大学

学位级别：硕士

通过对黑白视频进行彩色化处理,可以还原经典影像作品的色彩,有助于历史研究。当前大多数视频着色方法是通过深度神经网络进行颜色预测,这种方式需要的数据集巨大,且着色结果难以预估,即存在多模态性。同时,若未对相邻帧进行单独处理,... 详细信息

通过对黑白视频进行彩色化处理,可以还原经典影像作品的色彩,有助于历史研究。当前大多数视频着色方法是通过深度神经网络进行颜色预测,这种方式需要的数据集巨大,且着色结果难以预估,即存在多模态性。同时,若未对相邻帧进行单独处理,则容易导致相邻帧颜色跳变明显。基于此,可采用参考帧辅助着色的方式来缓解相邻帧的颜色跳变问题,但该方式加大了人工参与的成本,且工作量巨大。本文主要针对黑白视频自动着色问题开展研究,主要工作和创新点如下:(1)分析了记忆模块对生成对抗网络的增强作用。生成对抗网络的判别器在训练过程中容易忘记生成器过去生成的样本,导致训练异常波动。基于此,引入记忆模块,使生成对抗网络可以记住训练集中的样本信息,辅助生成器更好地理解数据的底层分布,缓解遗忘问题。同时,使生成对抗网络在测试阶段可以成功地从记忆模块中提取有用数据。(2)提出了一种基于记忆增强网络和生成对抗网络的视频着色模型Multi Color Net,以缓解视频着色过程中存在的相邻帧颜色跳变问题以及着色结果多模态的问题。在视频着色任务中,记忆增强网络可以存储训练集图像的颜色特征、空间特征,可以检索与输入视频帧最接近的颜色特征作为参考特征注入到着色网络中,以增强同场景相邻帧的色彩一致性。同时,结合生成对抗网络的对抗性损失优势,获得更接近于真实的彩色图像。另外,为了保证模型对长视频的着色效果,优化多场景视频色彩的连续性,提出了根据视频前后帧的特征差异和设定的阈值来判定是否发生场景切换的方法。实验结果表明,该模型能够有效地进行场景分割,实现对任意长度视频的着色,能够缓解同场景相邻帧的颜色跳变问题,产生更真实、稳定的着色效果。(3)设计了视像精灵视频处理软件。本软件在Multi Color Net模型的基础上,结合深度学习与软件工程相关知识,采用MVC分层架构的方式设计实现。软件可实现对黑白视频的自动着色,同时支持对着色视频进行微调,如视频调色等。其它功能包括图像着色、图像增强、视频静音、视频编辑、添加字幕。

关键词：生成对抗网络视频着色记忆增强网络颜色跳变

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的视频着色方法研究

基于深度学习的视频着色方法研究

作者：陈博天津理工大学

学位级别：硕士

老电影是人类历史的见证,具有珍贵的历史价值和人文价值。但是由于储存技术的限制,电影不可避免的会出现一些损伤,比如会出现划痕和斑块等问题。伴随着时代的发展,人们迫切的希望能将这些破损的历史回忆进行还原,并为这些珍贵的黑白影... 详细信息

老电影是人类历史的见证,具有珍贵的历史价值和人文价值。但是由于储存技术的限制,电影不可避免的会出现一些损伤,比如会出现划痕和斑块等问题。伴随着时代的发展,人们迫切的希望能将这些破损的历史回忆进行还原,并为这些珍贵的黑白影视作品重新进行着色来更好的还原历史。随着深度学习网络技术的进步,神经网络在视频图像处理领域取得了较好的效果,这为研究老旧图像修复问题和着色问题都提供了技术基础。为了满足市场上大量的老电影破损修复和重新着色的需求,在最初图像修复和着色过程中,过于依赖于有经验的专家指导。传统的一些图像修复方法不能很好的应对复杂的图像情况。近些年的深度学习在这些任务上取得了一些较好的效果,但是,不能完全的解决图像复杂的破损修复问题,同时在着色过程中,也不能完全的生成符合历史情形的颜色,如军装等。为了解决这些问题,本文提出了一种基于无监督的缺陷检测和修复网络和一种基于Variational Auto-Encoder(VAE)的视频着色模型。本文主要研究工作如下:(1)根据神经网络天生具有对自然信号的低阻抗性和对噪声的高阻抗性,提出基于无监督的图像缺陷分割和修复模型,并详细分析图像缺陷分割机制、缺陷修复机制等。实验在收集的老影片数据集和合成数据集上进行,对模型缺陷检测能力进行分析,并用主观评价等指标作为修复模型评价标准。实验结果表明,通过无监督修复模型修补的图像在视觉上具有更好的效果。这些结果也为下一步的图像着色提供了一定的基础。(2)根据VAE生成网络的特性,提出一种基于VAE的视频着色模型,并使用光流和对抗网络约束颜色生成,避免画面闪烁。本文对颜色进行类别划分处理,然后通过生成网络对图像的饱和度和颜色进行预测得到初步着色结果。在对抗生成网络的约束下,经过光流法传递颜色对这些初步着色结果进行颜色细化稳定。最终生成一系列连续的着色帧。视频着色实验在多个数据集上进行了实验,并使用峰值信噪比、结构相似性、和主观评价等指标作为模型优劣的评价标准。实验结果表明,本文提出的基于VAE生成模型的视频着色模型能产生不同的着色结果,能够有效的满足对电影着色的需求。

关键词： VAE 图像修复缺陷检测视频着色深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

具有自动场景划分的多模板视频着色

中北大学学报（自然科学版） 2023年第4期44卷 388-396页

作者：刘兴业高媛秦品乐赵一飞中北大学大数据学院山西太原030051

针对目前视频着色的方法存在视频转换场景时颜色发生明显偏移和时间不一致性的问题,提出了一种具有自动场景划分的多模板视频着色方法。该方法根据视频场景的不同,将整个视频分成若干组,每组利用图像检索的方式找到一个合适的参考图像,... 详细信息

针对目前视频着色的方法存在视频转换场景时颜色发生明显偏移和时间不一致性的问题,提出了一种具有自动场景划分的多模板视频着色方法。该方法根据视频场景的不同,将整个视频分成若干组,每组利用图像检索的方式找到一个合适的参考图像,使用参考图像与前一帧图像共同指导视频着色,同时,计算余弦相似性对各个边界帧进行比较,保证具有相似场景的视频使用相同的参考图像,使得整个视频满足时间一致性。实验结果表明,所提出的方法可以有效解决视频着色中时间不一致性与颜色抖动的问题,并且在多个场景下的视频着色效果都有明显提升,与全自动视频着色、单模板视频着色和其他多模板视频着色相比,峰值信噪比(PSNR)分别提升了6.01%,3.81%和5.02%,且产生的视频颜色更加自然。

关键词：视频着色深度学习图像检索时间一致性镜头边界检测

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于视频着色与质量增强的高效视频编码方法

基于视频着色与质量增强的高效视频编码方法

作者：袁冯南京信息工程大学

学位级别：硕士

随着成像技术和显示技术的迅速发展,高清视频在日常生活中得到广泛传播与普及。高效视频编码（High Efficient Video Coding,HEVC）作为当前主流的视频编码标准,与上一代视频编码标准H.264/AVC相比,其能在相同视频质量下将压缩效率提升... 详细信息

随着成像技术和显示技术的迅速发展,高清视频在日常生活中得到广泛传播与普及。高效视频编码（High Efficient Video Coding,HEVC）作为当前主流的视频编码标准,与上一代视频编码标准H.264/AVC相比,其能在相同视频质量下将压缩效率提升一倍。然而,随着视频分辨率、帧率、采样精度的增大,现有的视频编码标准无法在有限的存储和带宽资源下提供更高的视频质量,因此现有的视频编码标准的压缩效率需要被进一步提升。此外,采集与编码压缩过程会在视频中引入多种类型的失真,严重影响用户视觉体验,因此压缩后视频质量需要被进一步提升。（1）传统的视频编码器直接压缩原始视频的亮度分量与色度分量,不对其进行任何预处理。根据统计分析可知,原始视频的色度分量与亮度分量有很强的相关性,在色度分量编码过程中,其编码参数参考了亮度分量的编码参数。因此,本文提出了基于视频着色的高效视频编码方法,在编码端仅仅编码原始视频的亮度分量并训练视频着色模型,在解码端利用重建的亮度分量与模型预测其色度分量,以避免原始视频色度分量的编码。为了恢复视频色度信息,在解码器采用了生成式对抗网络模型。实验结果表明,与H.265/HEVC视频压缩编码标准相比,所提出的基于着色的视频编码方法能在不影响视频视觉质量前提下进一步压缩视频。（2）视频经过采集与压缩后存在大量失真,为了提升视频的质量,本文提出了一种基于生成式对抗网络的视频图像增强方法在视频编解码器的解码端对视频进行后处理。该方法由一个多模块级联生成网络和一个自适应多尺度判别网络组成。此外,本文提出了一种新型对比度损失,并在此基础上建立了一种新的混合损失函数以改善视频图像的视觉质量。最后,本文分别在图像数据集和视频数据集上进行性能测试,实验结果证明该算法能有效地增强视频图像质量。

关键词：高效视频编码视频着色质量增强生成式对抗网络