检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

帧率提升中的三维递归搜索块匹配改进算法

计算机工程与应用 2011年第33期47卷 169-171页

作者：侯正信李娜张丽晓杨爱萍天津大学电子信息工程学院天津300072

将基于块匹配的运动估计用于帧率提升会产生内插重叠、空洞等问题。对三维递归搜索(3DRS)块匹配运动估计算法进行改进,结合双向运动估计给出更为精确的运动矢量,采用矢量中值滤波器平滑矢量场,并运用中值滤波运动补偿技术进行插帧。实... 详细信息

将基于块匹配的运动估计用于帧率提升会产生内插重叠、空洞等问题。对三维递归搜索(3DRS)块匹配运动估计算法进行改进,结合双向运动估计给出更为精确的运动矢量,采用矢量中值滤波器平滑矢量场,并运用中值滤波运动补偿技术进行插帧。实验结果表明,该算法在主客观方面都具有较好的性能,计算复杂度较低,也便于硬件实现。

关键词：帧率提升运动估计三维递归搜索块匹配

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于卷积网络的帧率提升算法研究

计算机应用研究 2018年第2期35卷 611-614页

作者：侯敬轩赵耀林春雨刘美琴白慧慧北京交通大学信息科学研究所北京100044 北京交通大学现代信息科学与网络技术北京市重点实验室北京100044

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,提出一种基于卷积神经网络(convolutional neural network)的自学习帧率提升(frame rate upconversion)方法。卷积神经... 详细信息

基于运动补偿的帧率提升算法是目前主要的帧率提升方法。为减小内插帧中的块效应、孔洞和遮挡问题,提高插值帧质量,提出一种基于卷积神经网络(convolutional neural network)的自学习帧率提升(frame rate upconversion)方法。卷积神经网络用于利用两相邻帧预测待插值帧。在卷积神经网络的训练阶段,假设高帧率视频是存在的,网络参数由高帧率视频与低帧率视频训练而来。最后视频数据以低帧率视频加网络参数的形式传输,在接收端就可以利用卷积神经网络重建高帧率视频。实质上,这样做是通过增加视频发布者的负担以提供给视频接收者更多便利。对于视频点播网站来说,这是提升用户体验的重要因素。实验表明,该方案相对于传统的基于运动补偿的帧率提升算法,平均PSNR提升至少0.6 d B,取得较大程度的提升,并且该方法是基于全局的帧预测方法,可以有效避免块效应、孔洞和遮挡问题。

关键词：卷积神经网络帧率提升自学习

WebRTC视频帧率提升算法研究与会议系统设计实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

WebRTC视频帧率提升算法研究与会议系统设计实现

作者：邓青青重庆邮电大学

学位级别：硕士

伴随着各种新技术的不断涌现,WebRTC应运而生。WebRTC是一项基于浏览器的多媒体实时通信技术,也是终端音视频接口的标准化抽象和实时通信的建立、多媒体编码格式以及传输的标准规范。只要满足这些标准规范,Web端和移动端都可以得到应用... 详细信息

伴随着各种新技术的不断涌现,WebRTC应运而生。WebRTC是一项基于浏览器的多媒体实时通信技术,也是终端音视频接口的标准化抽象和实时通信的建立、多媒体编码格式以及传输的标准规范。只要满足这些标准规范,Web端和移动端都可以得到应用。除了像WebRTC这样的新技术外,与WebRTC相关联的视频后处理技术也在不断研究和更新中。其中帧率提升技术就是视频后处理技术中研究的热点,其在数字媒体领域有着广泛的应用,不仅可以用于提高视频在播放端的质量,也可以用于平衡海量的视频数据与有限的带宽资源之间的矛盾。本文首先对WebRTC的整体框架、核心技术等进行研究,并对影响着WebRTC视频质量中的帧率调整策略进行研究。由于WebRTC的实时视频技术中采取了一定丢帧策略,故而对视频后处理技术中的帧率提升技术进行研究。本文主要对传统的帧率提升算法作了研究分析,同时对CNN、U-net、Res Net等神经网络进行研究分析,针对传统帧率提升算法的不足,结合深度学习的优势,提出一种基于改进UNet的帧率提升算法。该算法使用U-net和Res Net的结合,将视频的相邻两帧作为输入,通过U-net网络编码和解码操作输出插值帧。实验结果表明,这种基于深度学习的帧率提升算法所预测的视频插值帧,能够有效的避免传统帧率提升算法存在的块效应,很好的提升视频的感官质量。最后本文通过对WebRTC核心技术的研究,并结合项目需求,设计与实现基于Android端的WebRTC视频会议系统。该系统主要分为客户端和服务端,服务端主要是满足流媒体数据传输、信令服务以及NAT穿透等服务。对于流媒体数据的传输主要采用的是基于SFU通信架构的服务器,信令服务主要是采用Web Socket协议实现,NAT穿透主要采用结合了STUN和TURN的服务器。客户端主要包括用户注册登录模块、视频会议模块、IM即时消息模块以及直播模块。系统实现后,通过对系统的功能测试和性能测试分析,该系统基本能满足各个模块的功能需求,能保障正常的安装、使用和卸载。

关键词： WebRTC 帧率提升神经网络会议系统

基于Delaunay三角形网格的视频帧率提升技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Delaunay三角形网格的视频帧率提升技术

作者：李聪山西大学

学位级别：硕士

超高清电视及电影业的不断发展带动了人们对观看更高帧率视频的需求,且不同国家、不同设备之间所采用的帧率不同,为了实现这些不同标准格式下的视频间的帧率转换以及为了给人们带来更震撼的观影感受,帧率提升技术（Frame Rate UpConvers... 详细信息

超高清电视及电影业的不断发展带动了人们对观看更高帧率视频的需求,且不同国家、不同设备之间所采用的帧率不同,为了实现这些不同标准格式下的视频间的帧率转换以及为了给人们带来更震撼的观影感受,帧率提升技术（Frame Rate UpConversion,FRUC）被提了出来且逐渐成为研究的热点。帧率是指每秒钟所传输的图片的帧数,单位为帧每秒（Frames Per Second,FPS）。视频的帧率越高,其画面中的动作就越流畅、细节就越细腻,人们的观影体验也就越好。帧率提升技术是指在原始的视频序列中间内插出一些帧,使原本低帧率的视频变为更高帧率的视频。正是由于人们有获得更佳的观影体验的需求,所以FRUC技术有非常广阔的应用前景,值得学者们在这方面花费时间与精力来推动这项技术的发展。各国学者们也提出了多种帧率提升的方法,其中应用最为广泛的是基于运动补偿的FRUC技术,这种方法充分考虑到了视频中运动物体的运动情况,并作出了相应的运动补偿来得到较高质量的内插帧图,因而被广泛应用于实际中。本论文首先介绍了帧率提升技术的理论基础及常用的一些经典算法,然后对其中的基于运动补偿的FRUC技术中的一种基于网格的方法进行了重点研究,论文的主要研究内容及成果可归纳为以下三点:1.选取了六种较经典的图像特征提取与匹配算法进行对比分析,并通过实验发现,ORB+BF算法所做的匹配图像特征点较多且正确率最高,经过RANSAC误匹配后可以达到近乎100%。所以本文选用该方法来进行后续的运动估计及Delaunay三角形（Delaunay Triangle,DT）网格生成。且在这里,我们提出了一种新的三步图像匹配算法:BRISK+FREAK+BF,通过实验可以证明该算法具有更好的尺度不变性及光照不变性。2.提出了一种改进的DT网格生成算法,该算法基于上述的ORB+BF方法的图像匹配实验结果,将该匹配结果的特征点生成点集,读取三对特征点组合进行六参数仿射变换,将其代入起点坐标计算转换后的坐标得到运动物体的运动矢量;接着生成初始的DT网格,将点集中的点不断插入其中,判断是否满足DT剖分准则,若满足则删除之前的三角形,重新生成新的网格,不满足则继续读取点集直到网格生成结束。同时,将传统的空外接圆准则算法进行了优化,将传统的计算三角形的外接圆的圆心及半径,然后再计算出插入点到该圆心的距离从而判断插入点与圆的位置关系转化为计算两个角度的余弦值并判断其大小,从而判断插入点与圆的位置关系,这种做法大大简化了算法的复杂程度,使效率有了较大的提高。3.生成DT网格之后,对图像进行运动补偿来得到两帧中间的内插帧图。在这里,我们选取的两帧是测试视频的第一帧及第三帧图像,这样内插出的帧图就可以与原始的第二张帧图进行对比评价。本文是基于Windows7+Visual Studio2015+Opencv3.3.1平台进行实验,可以发现,无论是从主观的视觉效果上看,还是客观评价计算内插帧图与原始帧图的峰值信噪比（Peak Signal to Noise Ratio,PSNR）、归一化相关系数（Normalized Correlation,NC）及结构相似度（Structural Similarity Index Measurement,SSIM）,都可以证明本文所提出的帧率提升方法优于经典的帧率提升算法,且得到了系统的实现。

关键词：帧率提升图像特征匹配 Delaunay三角形网格运动补偿图像评价

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

三维视频帧率提升及深度图修复方法研究

三维视频帧率提升及深度图修复方法研究

作者：肖依凡山东大学

学位级别：硕士

近年来,新兴的数字多媒体技术给人们带来了多样化的观影体验。与传统的二维视频相比,三维视频可以为观影者提供更加身临其境的观影效果,因此受到了广泛的关注与研究。影响三维视频显示效果的主要因素包括视点的数量,随着视点数量的增加... 详细信息

近年来,新兴的数字多媒体技术给人们带来了多样化的观影体验。与传统的二维视频相比,三维视频可以为观影者提供更加身临其境的观影效果,因此受到了广泛的关注与研究。影响三维视频显示效果的主要因素包括视点的数量,随着视点数量的增加视频立体感增强,观影范围增大,而数据量也随之增加。此外为了提高显示效果,三维视频一般都有着很高的分辨率和帧率。因此三维视频的数据传输量是传统二维视频的数倍,巨大的数据传输压力与有限的宽带限制了三维视频的应用与发展。针对传输带宽有限的问题,本论文将二维视频帧率提升（Frame Rate Up-Conversion,FRUC）方法扩展到三维视频中,利用三维视频彩色图与对应深度图对三维视频进行帧率提升,通过在接收端合成高帧率三维视频,减少了系统发送端的发送量,达到节省传输带宽的目的。由于在三维视频帧率提升过程中需要用到高质量的深度图,而常规深度相机获取的深度图存在大量噪声,因此本论文还对深度图修复问题进行了研究。另外,三维视频的帧率提升技术旨在减少三维视频传输,却易被用来对视频格式进行篡改,以达到提高上传视频点击率的目的,针对这一问题,本文还提出了一种视频格式篡改的检测方法。本论文的主要内容及贡献有以下三点:1、提出了一种深度图加彩色图的三维视频帧率提升方法。该方法利用深度图与彩色图的边缘一致性,首先在运动估计过程中对宏块进行边缘块与平坦块分类,根据块属性进行不同的运动矢量估计从而得到更为精确的运动矢量。估计错误的运动矢量可通过运动矢量后处理过程进行检测与纠正。在得到精准的运动矢量后,根据像素点是否为边缘点进行像素点补偿。此外,基于纹理增强的运动矢量估计准则被应用其中,有利于快速找到匹配宏块。该算法能有效提升内插深度图及彩色图的质量。2、提出了一种基于边缘约束的深度图修复方法。该方法主要包括两部分,首先是空洞分类,它利用彩色图与深度图的边缘一致性对深度图的空洞进行分类与标记。其次是深度图修复,通过基于双边带滤波器的插值方法对空洞像素进行空洞填补。最后利用基于深度可靠度的联合三边带滤波方法对深度图进行降噪处理。该方法可以有效提高Kinect相机拍摄的深度图质量。3、提出了一种基于频谱分析的视频伪帧检测方法。该方法首先使用基于局部二值模式（Local Binary Patterns,LBP）的关键帧检测方法来分割原始视频。然后对每个视频序列进行分块离散余弦变换（Discrete Cosine Transform,DCT）,以通过滤除图像的低频部分来区分原始帧与插入帧的差异。对滤波后的图像进行逆离散余弦变换（Inverse Discrete Cosine Transform,IDCT）以计算各帧的边缘强度。在得到帧序列边缘强度曲线后,利用霍夫曼平均线对该曲线进行二值化,从而对插入的伪帧进行定位,并估算出视频原始帧率。该方法可以有效检测出采用帧率提升方法进行视频格式作弊的视频伪帧。实验结果与分析表明,本论文提出的三维视频帧率提升算法的主观图像效果及客观PSNR等指标均优于经典算法。提出的深度图修复算法可以减少深度图空洞与深度图噪声,提高深度图的质量。提出的伪帧检测算法在测试视频库上能达到97.2%的平均检测准确度。

关键词：三维视频帧率提升深度图修复深度相机

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运动信息的视频帧率提升方法研究

基于运动信息的视频帧率提升方法研究

作者：曲爱喜山东大学

学位级别：硕士

3D超高清电视的日益普及与发展带动了人们对高帧率视频的需求。帧率提升（Frame Rate Up-conversion,FRUC）作为一种获取高帧率视频且可实现视频间帧率转换的视频后处理技术,逐渐引起学术界的关注并成为研究热点。帧率提升是一种利用连... 详细信息

3D超高清电视的日益普及与发展带动了人们对高帧率视频的需求。帧率提升（Frame Rate Up-conversion,FRUC）作为一种获取高帧率视频且可实现视频间帧率转换的视频后处理技术,逐渐引起学术界的关注并成为研究热点。帧率提升是一种利用连续两帧之间的时域相关性获得内插帧,然后插入原始两帧之间以达到增加帧率目的的技术。视频的帧率越高,它的观影效果也就越好,同时代表着画面中的动作越流畅,细节越细腻。由于视频帧率提升多样化的应用,FRUC技术在数字多媒体领域拥有广泛的应用前景,同时学术界也研究出了各种各样的FRUC算法,其中应用最为广泛的是基于运动补偿的FRUC算法。该算法引入了运动信息,可以很好地保证内插帧处于原运动轨迹上,但同时也会带来一些问题,如块效应、模糊、遮挡等。本论文在2D视频上展开研究,对基于块匹配的运动补偿类帧率提升过程中的关键技术:运动估计、运动矢量后处理和双向运动补偿插帧做了深入的研究探讨并提出有效可行的解决方案。论文的主要研究内容可总结归纳为以下三点:1.提出一种基于四重运动矢量后处理的FRUC算法。通过采用混合运动估计法即将前向、后向及双向运动估计相结合,避免遮挡和重叠等问题的发生;为了提高运动矢量的精确性,前后向运动矢量场的异常值将被检测并通过基于先验信息的修正算法对其进行修正,然后采用矢量外插和加权求和的方法对双向运动矢量场进行矢量平滑;此外,通过基于块匹配率和阶梯型策略的双向运动矢量选择和判定方法实现单向矢量场向双向矢量场的精确转换。该算法可以提高运动矢量的精确度,得到质量高、效果好的内插帧。2.提出一种基于时空域的自适应运动补偿插帧算法。在运动估计中加入预处理和纹理信息,既减少了计算量又提高了运动矢量的精确度;然后对修正后的矢量进行运动分析,将其分为三种块类型;最后对不同类型的块基于时空域的精准信息采用不同的补偿插帧算法,最终得到高质量的内插帧,有效减少了块效应和模糊现象。3.在常见的二倍帧率提升基础上,提出一种基于运动信息的非整数倍FRUC算法,该算法可以实现任意分数倍数的帧率上转换。所提算法充分利用运动信息选择物体运动最快的地方作为待插入帧的位置,并采用双向运动补偿方法获得该处的内插帧,有效消除了帧率提升后的视频中常见的模糊和运动抖动现象。同时为了提高待插入帧位置判定的准确性,该算法设计了基于帧间相关度和帧间运动速度的插帧位置判定方法,并采用了新的场景检测方法。该算法相对于其他传统算法,提升后的视频具有明显的质量改善,获得较好的视觉效果。本论文提出的帧率提升方法经过丰富的计算机仿真实验和比较分析,结果表明,无论是在主观视觉效果上,还是在峰值信噪比（Peak Signal to Noise Ratio,PSNR）和结构相似度（Structural Similarity Index Measurement,SSIM）两种客观指标上都优于经典的帧率提升方法。

关键词：块匹配运动估计运动矢量后处理运动补偿帧率提升

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运动补偿的帧率提升方法

基于运动补偿的帧率提升方法

作者：赵悦山东大学

学位级别：硕士

随着超高清电视(Ultrahigh Definition Television, UHDTV)的发展,人们获得了更细腻、更逼真、更流畅的视频观影效果。超高清不仅仅是指空间分辨率上达到4K×2K,更重要的是为了实现更高的帧频、更大的动态范围和更丰富的深度色彩。在实... 详细信息

随着超高清电视(Ultrahigh Definition Television, UHDTV)的发展,人们获得了更细腻、更逼真、更流畅的视频观影效果。超高清不仅仅是指空间分辨率上达到4K×2K,更重要的是为了实现更高的帧频、更大的动态范围和更丰富的深度色彩。在实际应用中,拍摄制作高帧率的视频通常需要昂贵的成本,还面临着巨大的传输、存储压力,所以如何从现有的低分辨率视频得到满足用户需求的高帧率、高质量的视频是亟待解决的重大课题。帧率提升技术(Frame Rate Up Conversion, FRUC)作为视频格式转换的有效手段,已经在多媒体信息处理领域中成为了研究热点。运动补偿帧插法(Motion Compensation Frame Interpolation, MCFI)利用运动信息来获取插入帧,是目前最有效的帧率提升方法。但是,MCFI也带来了诸多不可避免的问题,如块效应、空洞、遮挡等,这些都严重影响了视频质量的提升和用户的视觉体验。基于此,本文提出的MCFI皆在解决上述问题,本文的主要研究内容可以总结为以下三点：1.提出了一种基于运动修复的解决空洞问题的帧率提升方法,该方法从两个方面解决空洞问题：一是得到正确的运动向量,二是空洞区域的运动修复。首先,通过基于纹理的自适应性运动估计的方法获取准确的运动向量,并利用多方向增强的运动向量后处理方法来修正不可靠运动向量,这样精确的运动估计的结果可以有效地减少空洞区域的范围;然后,通过空洞区域的周围信息获取空洞区域的运动向量,并利用运动补偿的原理填补空洞。这种低复杂度的方法有效地解决了空洞问题带来的视觉困扰,得到了高质量的插入帧。2.提出了一种基于运动向量角的解决遮挡问题的帧率提升方法,该方法通过分析遮挡问题出现的原因,对不同类型的遮挡问题提出了自适应的处理方法：因为场景切换出现的暴露区域,采取帧重复法得到插入帧;由于物体相对运动出现的遮挡、暴露区域,采用前向、后向运动估计相结合的方法获取正确的补偿结果。同时,该方法引进了运动向量角和前向、后向运动补偿信息对遮挡区域进行了判定,有效减少了运算的复杂度。另外,本文提出了一种基于亮度信息的,增强算法的RGB彩色空间的矢量距离色差公式的非对称十字型多层次六边形格点搜索算法(Unsymmetrical Cross Muti Hexagon grid Search, UMHexagonS),该运动估计得到了高准确度的运动向量,大大降低了处理遮挡问题的运算复杂度。3.在以上两种帧率提升方法研究的基础上,设计完成了两个应用软件系统,将理论研究转化为实际的生产力。最后,本文设计了一个帧率提升方法的比较系统,整合了几种经典的方法,可以供用户对不同的视频序列选取不同需求的帧率提升方法。论文提出的帧率提升方法经过大量的实验测试,无论是在主观视觉效果上,还是在客观数值：峰值信号比(Peak Signal to Noise Ratio, PSNR)和结构相似度(Structural Similarity Index Measurement, SSIM)上都优于经典的帧率提升方法,并最终得到了系统实现。

关键词：运动估计运动补偿帧率提升空洞遮挡

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多帧运动估计的帧率提升算法

计算机应用研究 2012年第10期29卷 3952-3955页

作者：杨爱萍董翠翠侯正信李娜天津大学电子信息工程学院天津300072

结合最大后验概率(MAP)估计的准确性和分层块匹配算法的快速性,研究了一种多参考帧运动估计算法,并提出了一种基于多帧运动估计的帧率提升(FRUC)系统方案。实验结果表明,基于该算法的内插帧无论从客观指标(时间复杂度、信噪比PSNR)还是... 详细信息

结合最大后验概率(MAP)估计的准确性和分层块匹配算法的快速性,研究了一种多参考帧运动估计算法,并提出了一种基于多帧运动估计的帧率提升(FRUC)系统方案。实验结果表明,基于该算法的内插帧无论从客观指标(时间复杂度、信噪比PSNR)还是主观质量(视觉效果)均优于现有常用方法,且算法复杂度较低,便于硬件实现。

关键词：帧率提升运动估计多参考帧块匹配 MAP估计

基于运动和深度信息的立体视频帧率提升算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于运动和深度信息的立体视频帧率提升算法研究

作者：南立园电子科技大学

学位级别：硕士

近年来立体电影和立体电视开始走进人们的生活,立体视频提供的画面立体感更强,视觉冲击更强烈,能带给观众更丰富的视觉体验。立体视频的数据量非常庞大,在传输和存储过程中常常采用丢帧的方式降低时间分辨率,影响了立体视频的真实感和... 详细信息

近年来立体电影和立体电视开始走进人们的生活,立体视频提供的画面立体感更强,视觉冲击更强烈,能带给观众更丰富的视觉体验。立体视频的数据量非常庞大,在传输和存储过程中常常采用丢帧的方式降低时间分辨率,影响了立体视频的真实感和流畅感,视频帧率提升技术可以利用原始视频中帧与帧之间的相关性信息获得新的内插帧,提高时间分辨率,增强立体视频的视觉质量。本文针对立体视频帧率提升技术中的运动估计和运动矢量优化展开深入研究,并结合显著性算法和视频分割算法,有效利用立体视频的运动信息和深度信息,实现了立体视频的帧率提升,具体研究内容如下:（1）研究了帧率提升技术的基本原理及方法。研究了多种运动估计方法,运动矢量处理方法以及运动补偿方法。（2）研究了结合显著性的立体视频帧率提升方法。首先研究了双重运动估计算法,并引入深度信息约束思路,提升了运动估计的准确性。然后研究了显著性检测算法,提出了一种结合显著性检测的立体视频帧率提升算法,针对显著性和非显著性区域采用不同的方法对运动矢量进行优化处理。（3）研究了视频分割方法,提出了结合视频分割的的立体视频运动估计方法。在基于Meanshift的立体视频分割方法的基础上,提出利用分割图信息、一致性能量函数以及梯度信息,约束运动估计中的块匹配过程来提升运动矢量的准确性,改善内插帧的视觉质量。本文基于Matlab平台,提出了结合显著性的立体视频帧率提升方法和结合视频分割的立体视频运动估计方法。对多组立体视频序列进行了测试,测试结果表明这两种方法都是有效的,这两种方法得到的内插视频的峰值信噪比和结构相似度参数得到了提高,可以提升内插视频的视觉质量。

关键词：立体视频帧率提升深度信息运动估计视频分割