检索结果-南通市图书馆

改进视觉Transformer的视频插帧方法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2024年第4期41卷 1252-1257页

作者：石昌通单鸿涛郑光远张玉金刘怀远宗智浩上海工程技术大学电子电气工程学院上海201620 上海建桥学院信息技术学院上海201306

针对现有的视频插帧方法无法有效处理大运动和复杂运动场景的问题,提出了一种改进视觉Transformer的视频插帧方法。该方法融合了基于跨尺度窗口的注意力和可分离的时空局部注意力,增大了注意力的感受野并聚合了多尺度信息;对时空依赖和... 详细信息

针对现有的视频插帧方法无法有效处理大运动和复杂运动场景的问题,提出了一种改进视觉Transformer的视频插帧方法。该方法融合了基于跨尺度窗口的注意力和可分离的时空局部注意力,增大了注意力的感受野并聚合了多尺度信息;对时空依赖和远程像素依赖关系进行联合建模,进而增强了模型对大运动场景的处理能力。实验结果表明,该方法在Vimeo90K测试集和DAVIS数据集上的PSNR指标分别达到了37.13 dB和28.28 dB,SSIM指标分别达到了0.978和0.891。同时,可视化结果表明,该方法针对存在大运动、复杂运动和遮挡场景的视频能产生清晰合理的插帧结果。

关键词：视频插帧 Transformer 基于跨尺度窗口的注意力大运动复杂运动

基于计算机视觉和视频插帧的结构振动测试与模态识别

在线全文

学校读者我要写书评

暂无评论

福建理工大学学报 2024年第1期22卷 22-29,38页

作者：杨克超李林福建农林大学交通与土木工程学院福建福州350002 福建江夏学院工程学院福建福州350108

结构振动测试和模态参数识别是基于结构动态特性进行结构健康监测(SHM)的基本方法。为克服传统接触式测试的不便,引入了非接触式计算机视觉方法,其中以智能手机为数据采集装置的方法受到越来越多的关注。然而智能手机相机往往因为性能... 详细信息

结构振动测试和模态参数识别是基于结构动态特性进行结构健康监测(SHM)的基本方法。为克服传统接触式测试的不便,引入了非接触式计算机视觉方法,其中以智能手机为数据采集装置的方法受到越来越多的关注。然而智能手机相机往往因为性能受限无法满足需求,从而导致测量结果精度下降。为此,提出一种改进的视频插帧算法EQVI-T与改进的边缘检测算法,通过提高原始视频的帧率和提出的特征点追踪方法共同提升计算精度。为验证这一方法的有效性,将其应用于试验室模型的位移响应监测和模态参数识别,并进行了定量和定性评估。结果表明,所提方法在提高测量精度和准确性方面具有显著优势,展示了其在结构振动测试中的潜在应用价值。

关键词：结构振动测试模态识别计算机视觉视频插帧注意力机制

在线全文

学校读者我要写书评

暂无评论

基于光流估计和核估计结合的4K视频插帧

工业控制计算机 2024年第3期37卷 81-83,86页

作者：冯子威宁欣丁友东上海大学上海电影学院上海200072 上海电影特效工程技术研究中心上海200072

为了满足观众日渐增长的对于超高清分辨率下帧率的需求,视频插帧技术成为了提升视频帧速率的主要手段之一。目前多数视频插帧技术取得了不错的效果,但由于缺少4K视频数据集,这些方法对超高清视频的处理并不理想。为了解决上述问题,创建... 详细信息

为了满足观众日渐增长的对于超高清分辨率下帧率的需求,视频插帧技术成为了提升视频帧速率的主要手段之一。目前多数视频插帧技术取得了不错的效果,但由于缺少4K视频数据集,这些方法对超高清视频的处理并不理想。为了解决上述问题,创建了一个超高清视频数据集UHD4K120FPS。同时,针对4K视频,提出一种联合基于核估计和光流估计的视频插帧模型。具体来说,两个输入帧分别通过输入核估计子网络和光流估计子网络,提取核估计和光流估计的特征,将提取的特征经过处理后输入后处理融合子网络,通过立方卷积翘曲和多次卷积输出最终的结果。在不同的数据集上进行了训练和验证测试,实验结果表明,与其他主流方法相比该方法可以获得更好的插帧效果。同时,提出的数据集相比其他数据集也能获得更好的插帧结果。

关键词：视频插帧深度学习光流法 4K视频

在线全文

学校读者我要写书评

暂无评论

基于注意力机制的轻量级视频插帧技术研究

基于注意力机制的轻量级视频插帧技术研究

作者：李益格湖南大学

学位级别：硕士

视频帧插值是指在两个连续帧之间合成不存在的中间帧提高视频帧率,以增强视频的连续性和流畅度,在视频处理和计算机视觉领域具有广泛的应用。在遮挡、模糊和光照变化等复杂情况下,传统的基于运动补偿的帧插值算法难以估计准确的运动矢量... 详细信息

视频帧插值是指在两个连续帧之间合成不存在的中间帧提高视频帧率,以增强视频的连续性和流畅度,在视频处理和计算机视觉领域具有广泛的应用。在遮挡、模糊和光照变化等复杂情况下,传统的基于运动补偿的帧插值算法难以估计准确的运动矢量场,严重影响了插值帧的视觉质量。近几年,深度神经网络的强大特征提取和表示能力使得基于深度学习的视频帧插值逐步成为主流。尽管如此,它在处理不规则运动和遮挡等复杂情形时合成的中间帧通常存在模糊和伪影等现象,并且内存等计算资源消耗高。本文研究结合注意力机制的轻量级卷积神经网络,进行视频帧插值和帧率上转。具体地,主要的研究工作包括:(1)针对现有的深度视频帧插值网络模型过于复杂的问题,提出引入轻量级的Ghost模块实现模型压缩和加速。现有的深度视频帧插值网络模型为了增强特征提取和表达能力,通常采用增加网络深度或者内嵌预训练模型的方式,模型参数量和计算量都很高,训练难度大。实际上,它们存在着大量的结构和参数冗余。相对于普通的卷积模块,引入的Ghost模块能够以更低的计算代价合成相同通道数的特征。实验结果表明,Ghost模块在不明显降低帧插值性能的前提下,将模型的参数量从21.7M缩减为1.8M,不足原有水平的1/10,浮点运算次数从15.1G缩减为8.2G,近似为原来的1/2。(2)针对在大规则运动、遮挡等情况下的合成帧容易出现模糊和伪影等问题,提出一种基于注意力机制的深度视频插帧模型。设计了一个双向注意力模块,融合通道注意力和空间注意力,使得模型更好地捕获输入帧的动态区域,并提升与运动信息有关的特征表示。此外,设计了由L1范数、感知损失和光流平滑损失线性加权而成的损失函数,能有效地保留图像的结构性特征,从而改善合成帧的视觉质量。实验结果表明,包含双向注意力模块的帧插值模型能够更好地处理复杂的运动场景,其在Middlebury数据集上的PSNR提升了0.07d B,SSIM提高了0.002,在DAVIS数据集上的PSNR提升了0.04d B,SSIM提高了0.011。

关键词：视频插帧深度学习注意力机制模型压缩

基于深度学习的左心室彩超视频插帧及流场预测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的左心室彩超视频插帧及流场预测方法研究

作者：陈子赞汕头大学

学位级别：硕士

心血管类疾病是目前导致国内人群死亡的首位原因,随着我国人口老龄化问题日益严重,心血管类疾病的患病率也在逐年上升,早期诊断对降低疾病对患者生命健康的威胁至关重要。医学临床实验研究证实,精确的左心室血流流场以及血流动力学信息... 详细信息

心血管类疾病是目前导致国内人群死亡的首位原因,随着我国人口老龄化问题日益严重,心血管类疾病的患病率也在逐年上升,早期诊断对降低疾病对患者生命健康的威胁至关重要。医学临床实验研究证实,精确的左心室血流流场以及血流动力学信息对于众多的心血管类疾病的早期诊断具有重要的意义。彩色超声多普勒是目前常用的左心室功能临床检查手段,但是由于帧率较低,左心室彩超帧与帧之间的流场以及心肌组织的运动信息会出现部分缺失的情况,会对医生的诊断会造成干扰。针对左心室彩色超声多普勒视频由于帧率较低导致帧与帧之间流场信息存在缺失所带来的挑战,本文分别从合成中间帧以及预测流场两个方面进行对填补缺失流场信息的研究:（1）提出了基于深度学习的左心室彩超视频插帧方法。本文模型是一个端到端训练的模型,结合相邻帧间的光流信息合成中间帧。首先通过光流预测网络预测双向光流,利用线性拟合的方法近似出中间光流,再通过光流修正网络输出优化的中间光流并且预测用于处理遮挡问题的可见性映射关系。然后使用反向扭曲函数根据优化的中间光流扭曲出待线性融合的中间帧,最后通过可见性映射关系对待融合的中间帧进行线性融合合成最终输出的中间帧。客观评价方面,本文的插帧模型对左心室彩超视频进行插帧的PSNR值、SSIM值以及IE值分别为23.07、0.79和9.92。主观评价通过VFM计算流场的方法进行验证,结果表明本文方法对预测左心室彩超视频缺失的中间流场信息具有较好的效果。（2）提出了基于格子玻尔兹曼方法的流场预测方法。本文首先通过格子玻尔兹曼方法对任意的左心室彩色超声多普勒图像进行建模,出于简化目的,本文模型的边界条件设置为反弹格式的静止矩形框,对彩色多普勒信息使用VFM的方法计算得到左心室流场的初始速度矢量。然后设置模型迁移碰撞过程的初始参数,最后通过迭代演化运算预测出初始流场在接下来的任一时间步上的流场。实验结果表明,本文提出的流场预测模型能够有效预测出左心室流场整体运动的趋势以及涡旋产生情况,是一种预测左心室流场的可行方法。

关键词：左心室彩色超声多普勒深度学习视频插帧格子玻尔兹曼流场预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于非局部运动估计的视频插帧算法研究

基于非局部运动估计的视频插帧算法研究

作者：张弘毅西安电子科技大学

学位级别：硕士

随着多媒体技术的发展,视频逐渐成为人们获取信息的主要途径。帧率是视频的重要属性之一,它是指以帧为单位的图像在视频中每秒出现的次数,主要影响视频的流畅度。视频插帧旨在通过视频中连续帧的信息预测合成中间帧,使插帧后的视频帧率... 详细信息

随着多媒体技术的发展,视频逐渐成为人们获取信息的主要途径。帧率是视频的重要属性之一,它是指以帧为单位的图像在视频中每秒出现的次数,主要影响视频的流畅度。视频插帧旨在通过视频中连续帧的信息预测合成中间帧,使插帧后的视频帧率更高,画面更连贯。然而,由于在视频连续帧中普遍存在非线性运动、遮挡和大尺度运动等复杂情况,实现快速且高质量的视频插帧是非常具有挑战和研究意义的课题。针对上述问题,近年来许多研究人员提出一系列创新性的视频插帧算法,这些算法为高质量的视频插帧提供了新思路。但这些算法普遍存在着运动估计不准确,大尺度运动场景鲁棒性不足,算法模型繁杂难以实时处理等问题。为此,本文基于深度学习框架,从时空注意力机制,动态自适应推理和可逆神经网络三个方面出发,构建高效的视频插帧算法。主要研究内容和创新点如下:1)提出了一种基于时空注意力的视频插帧算法。目前主流的视频插帧算法在处理复杂运动时难以从相邻两帧获取关键信息完成运动估计,从而使生成帧在复杂运动区域差生伪影等现象。为了解决上述问题,本方法利用时空注意力模块,从输入中捕获各帧之间的时间和空间维度的相互依赖性,寻找到输入帧中与复杂运动关系最紧密的区域,从而对复杂运动进行全局建模。在多个数据集上的实验表明,本方法实现了快速的高质量插帧,在计算资源的消耗和重建帧视觉质量上均优于现有算法。2)提出了一种基于稀疏掩膜的运动感知视频插帧算法。目前主流的视频插帧算法对不同运动强度的区域使用同样的处理方式生成中间帧,这导致了模型不能有重点关注复杂运动区域,生成的中间帧产生伪影等现象;同时在微小运动区域产生了大量冗余计算,难以实现快速插帧。为了解决上述问题,本方法通过生成器得到稀疏掩膜作为判断区域运动强度的代理,从而动态分配计算资源。具体来说,模型会根据输入帧的运动状态自适应地生成稀疏掩膜,该稀疏掩膜在微小运动区域呈现稀疏性。之后,模型根据稀疏掩膜在微小运动区域使用稀疏卷积,从而跳过冗余计算。由于微小运动区域的运动模型简单,因此动态自适应网络并不会影响生成帧的质量。实验表明,我们的算法在多个数据集保持了高质量的插帧结果的同时,参数量和计算量都远小于目前的主流的插帧算法。3)提出了一种基于可逆神经网络的视频帧率转换算法。高帧率视频有时会对帧率进行下采样以节省传输和存储成本,或适应不同刷新率的设备。但在这一过程中,帧间信息的丢失往往是不可逆的,导致使用一般的视频插帧算法生成的高帧率视频视觉质量欠佳。针对这一问题,本方法利用可逆神经网络将高帧率视频进行正向编码,使中间帧信息散列在高斯分布中,而保留帧的视觉内容尽可能保持不变,完成帧率降低以方便传输和存储。在需要提升帧率时,用已经训练好的模型结合保留帧从高斯分布中采样生成中间帧,从而得到高帧率视频。实验证明,本方法还原的高帧率视频清晰度极高,模型简单,推理速度快,在能极大地节约传输带宽的同时,完成高帧率视频的高质量复原。

关键词：视频插帧深度学习注意力机制动态自适应推理可逆网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于复杂运动类型的视频插帧方法研究

基于复杂运动类型的视频插帧方法研究

作者：李浩东北京交通大学

学位级别：硕士

视频插帧研究如何在低帧率视频中的连续帧之间生成插入中间帧,得到画面更加连贯的高帧率视频。作为计算机视觉研究领域的热点之一,视频插帧在帧率提升、视频压缩及修复、慢动作生成等方向有着广泛应用。现实场景中存在大量的大尺度运动... 详细信息

视频插帧研究如何在低帧率视频中的连续帧之间生成插入中间帧,得到画面更加连贯的高帧率视频。作为计算机视觉研究领域的热点之一,视频插帧在帧率提升、视频压缩及修复、慢动作生成等方向有着广泛应用。现实场景中存在大量的大尺度运动、非均匀运动、导致图像模糊的快速运动等复杂运动类型,这给视频插帧中的运动估计带来极大挑战,严重影响视频插帧的性能。因此,针对不同复杂运动类型深入研究高质量视频插帧方法具有重要的理论价值和现实意义。本文基于复杂运动类型对视频插帧方法展开深入研究,从三种常见的复杂运动类型——大尺度运动、非均匀运动和导致图像模糊的快速运动出发,通过自由度增强、长短时信息优化、视频插帧与去模糊联合建模等方式,提升复杂运动建模能力,提高视频插帧质量。本文的主要研究工作总结如下:(1)提出了一种基于增强时空自由度的视频插帧方法。针对视频中的大尺度运动,通过在特征提取阶段和帧融合阶段中引入更高的时空自由度,在增强的时空特征提取模块中有效提取时空特征信息,并在增强自由度的融合模块中自适应进行帧融合,实现大尺度运动下更精准的运动建模。在Vimeo90K和GOPRO等公开数据集上对所提方法进行了消融和对比实验验证,相较于基网络,该方法将插帧结果的评价指标PSNR在两个数据集上分别提高至35.75d B和30.56d B,SSIM提高至0.9611和0.9207,优于GDConv、CDFI等同技术路线的主流方法。(2)提出了一种结合长时和短时运动信息的视频插帧方法。针对复杂运动场景中的非均匀运动,通过基于短时运动信息的局部特征对齐模块和长时运动信息的全局特征优化模块对中间特征的联合优化,实现对非均匀运动更精准的建模。在Vimeo90K和DAVIS等公开数据集上对所提方法进行了消融和对比实验验证,相较于基网络,该方法将插帧结果的评价指标PSNR提高了0.27d B和0.14d B,SSIM提高了0.0056和0.0052,优于Feature Flow等同技术路线的主流方法。(3)提出了一种针对低质视频流的去模糊与视频插帧联合建模方法。针对快速运动导致的模糊输入问题,在上一个研究的基础上,增加了基于特征的去模糊模块和基于双重注意力机制的局部特征融合模块,通过基于短时运动信息优化的局部特征对齐与融合模块、基于长时运动信息优化的全局特征协同优化模块,实现对视频插帧与去模糊的联合建模。在Adobe240和GOPRO等公开数据集上对所提方法进行了消融与对比实验验证,最终将插帧与去模糊综合结果的PSNR提高了0.43d B和0.11d B,SSIM提高了0.0034和0.0041,证明了方法的有效性。本文包含图36幅,表14个,参考文献76篇。

关键词：视频插帧时空自由度长短时优化视频去模糊可变形卷积

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种带图像修补的运动补偿视频插帧方法

四川大学学报（工程科学版） 2015年第3期47卷 77-82页

作者：贾茜易本顺肖进胜武汉大学电子信息学院湖北武汉430072

为了减小运动补偿插帧时的"块效应",提出一种带图像修补的运动补偿插帧方法。该算法首先采用可变尺寸块的多级双向搜索,"由粗到细"逐级精确修正运动矢量;然后,对已搜索到合适运动矢量的块进行插值补偿,生成初始内插帧;对于仍没有合适运... 详细信息

为了减小运动补偿插帧时的"块效应",提出一种带图像修补的运动补偿插帧方法。该算法首先采用可变尺寸块的多级双向搜索,"由粗到细"逐级精确修正运动矢量;然后,对已搜索到合适运动矢量的块进行插值补偿,生成初始内插帧;对于仍没有合适运动估计结果的块并不生硬的内插,而是利用图像修补(image inpainting)技术进行填充,从而得到最终完整的内插帧。实验结果表明,该方法内插帧的主、客观质量较之对比算法均有所提高,且算法复杂度低,实用性强。

关键词：运动补偿视频插帧 3维递归搜索双向运动估计图像修补

在线全文

学校读者我要写书评

暂无评论

基于光流估计的轻量级视频插帧算法

沈阳航空航天大学学报 2022年第6期39卷 57-64页

作者：杨华王姣张维君吴杰宏高利军沈阳航空航天大学计算机学院沈阳110136

为了提升流媒体视频的帧率,解决视频插帧算法模型复杂的问题,提出了一种基于光流估计的轻量级视频插帧算法,简称SKFEVI算法。该算法只需进行一次光流估计,即可计算出两个视频帧的中间流信息,提升了中间流的估计速度,并在此基础上引入注... 详细信息

为了提升流媒体视频的帧率,解决视频插帧算法模型复杂的问题,提出了一种基于光流估计的轻量级视频插帧算法,简称SKFEVI算法。该算法只需进行一次光流估计,即可计算出两个视频帧的中间流信息,提升了中间流的估计速度,并在此基础上引入注意力机制进行特征融合,让模型对生成不同尺度特征的信息进行整合,增强了特征表达能力,提升了信息处理效率。实验结果表明,该算法的PSRN值提升至35.56 dB,SSIM值提升至0.978,合成的中间帧质量更好,流媒体视频播放更加流畅。

关键词：视频帧率光流估计注意力机制特征融合视频插帧