检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于关键帧与时空特征融合的人脸伪造检测

计算机科学 2024年

作者：程燕华东政法大学信息科学与技术系

基于深度学习的人脸真伪检测是一个典型的二分类问题，模型训练结果的精度不仅受到训练数据质和量的影响，还与训练策略、网络架构设计等有关。本文以光流法为基础，提出了一种基于关键帧与时空特征融合的人脸伪造检测方法。首先，采用... 详细信息

基于深度学习的人脸真伪检测是一个典型的二分类问题，模型训练结果的精度不仅受到训练数据质和量的影响，还与训练策略、网络架构设计等有关。本文以光流法为基础，提出了一种基于关键帧与时空特征融合的人脸伪造检测方法。首先，采用加权光流能量阈值分析法筛选出视频中能量较大的关键帧，将关键帧的光流和LBP纹理特征进行融合，构成具有时间和空间特性的融合特征图，经过增强处理后输入CNN模型进行学习。在FaceForensics++和Celeb-df数据集的测试表明，本文所提算法的检测率较传统算法均有明显提高。跨库实验中，本文算法采用Efficientnet-V2结构在FaceForensics++数据集上表现出最优的跨库检测性能，准确率达到90.1%，XceptionNet结构的整体性能优于其他方法，准确率均达到80%以上，具有优越的泛化性能。

关键词：光流关键帧 LBP纹理 CNN模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于关键帧和注意力残差网络的手语识别算法

计算机工程 2023年

作者：刘群坡盛月琴高如新卜旭辉河南省智能装备直驱技术与控制国际联合实验室河南理工大学电气工程与自动化学院

手语识别的研究对于改善聋哑人生活质量具有重要意义，同时促进着人机交互领域的发展。针对手语视频中存在大量无关帧，手语识别过程中手部细节信息提取不足，难以精确定位手语动作的位置和时间信息导致识别率不高的问题，提出了一种基... 详细信息

手语识别的研究对于改善聋哑人生活质量具有重要意义，同时促进着人机交互领域的发展。针对手语视频中存在大量无关帧，手语识别过程中手部细节信息提取不足，难以精确定位手语动作的位置和时间信息导致识别率不高的问题，提出了一种基于关键帧和交互式注意力残差网络的手语识别方法。该方法分为两部分，数据预处理部分提出了基于图像相似度和模糊程度的关键帧提取算法，用于从基于Farneback光流法获取的大量候选关键帧中确定最终的关键帧，减少无关冗余信息。网络部分以3D-ResNet为基础框架，首先构建一种小卷积模块，用来增强网络对手语视频中细粒度特征的提取能力；其次设计一种在捷径分支中采用池化卷积下采样方式的残差结构，减小特征图失真程度；最后提出了一种融合通道注意力和空间注意力的交互式四重注意力模块，强化对目标区域关键特征的提取。在CSL和DEVISIGN数据集上对提出的算法进行了实验验证，结果表明该方法在CSL和DEVISIGN数据集上分别取得了92.0%和92.2%的准确率，均高于其他手语识别方法。

关键词：手语识别关键帧残差网络空间注意力通道注意力

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于关键帧的轻量化行为识别方法研究

仪器仪表学报 2020年第7期41卷 196-204页

作者：周育新白宏阳李伟郭宏伟徐啸康南京理工大学能源与动力工程学院南京210094 中国人民解放军96037部队宝鸡721000

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频... 详细信息

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频中存在的运动模糊现象,设计了一种基于图像特征量的关键帧选取算法,同时构建了一个包含表观信息流和运动信息流的改进时域分割网络,将关键帧RGB图像、非关键帧光流图像和差分图像并行地输入特征提取网络计算分类得分,最后将关键帧与非关键帧的行为类别得分进行平均融合后输入SoftMax层得到视频类别概率。为进一步降低算法的参数量和计算复杂度,设计了一种轻量化卷积神经网络作为特征提取网络。本文算法在UCF101数据集的识别准确率为94.7%,在HMDB51数据集的识别准确率为69.3%,推理速度相比于时域分割网络快了45.3%。实验结果表明,该算法能够高效利用视频的表观信息和运动信息,且具有较高的行为识别准确率。

关键词：卷积神经网络行为识别关键帧轻量化

在线全文

学校读者我要写书评

暂无评论

一种超声心动图关键帧智能检测方法

南京医科大学学报（自然科学版） 2024年第2期44卷 253-262页

作者：杜悦史中青戚占如曾子炀郭冠军姚静罗守华顾宁南京医科大学生物医学工程与信息学院江苏南京211166 南京大学医学院附属鼓楼医院超声医学科江苏南京210008 东南大学生物科学与医学工程学院江苏南京210096 南京大学医学院江苏南京210093

目的:探讨基于深度学习(deep learning,DL)的ResNet+VST模型在超声心动图关键帧智能检测方面的可行性。方法:选取南京大学医学院附属鼓楼医院超声医学科采集的663个动态图像含心尖二腔(apical two chambers,A2C)、心尖三腔(apical three... 详细信息

目的:探讨基于深度学习(deep learning,DL)的ResNet+VST模型在超声心动图关键帧智能检测方面的可行性。方法:选取南京大学医学院附属鼓楼医院超声医学科采集的663个动态图像含心尖二腔(apical two chambers,A2C)、心尖三腔(apical three chambers,A3C)与心尖四腔(apical four chambers,A4C)3类临床检查常用切面以及EchoNet⁃Dynamic公开数据集中280个A4C切面动态图像,分别建立南京鼓楼医院数据集与EchoNet⁃Dynamic⁃Tiny数据集,各类别图像按4∶1方式划分为训练集和测试集,进行ResNet+VST模型的训练以及与多种关键帧检测模型的性能对比,验证ResNet+VST模型的先进性。结果:ResNet+VST模型能够更准确地检测心脏舒张末期(end⁃diastole,ED)与收缩末期(end⁃systole,ES)图像帧。在南京鼓楼医院数据集上,模型对A2C、A3C和A4C切面数据的ED预测帧差分别为1.52±1.09、1.62±1.43、1.27±1.17,ES预测帧差分别为1.56±1.16、1.62±1.43、1.45±1.38;在EchoNet⁃Dynamic⁃Tiny数据集上,模型对A4C切面数据的ED预测帧差为1.62±1.26,ES预测帧差为1.71±1.18,优于现有相关研究。此外,ResNet+VST模型有良好的实时性表现,在南京鼓楼医院数据集与EchoNet⁃Dynamic⁃Tiny数据集上,基于GTX 3090Ti GPU对16帧的超声序列片段推理的平均耗时分别为21 ms与10 ms,优于以长短期记忆单元(long short⁃term memory,LSTM)进行时序建模的相关研究,基本满足临床即时处理的需求。结论:本研究提出的ResNet+VST模型在超声心动图关键帧检测的准确性、实时性方面,相较于现有研究有更出色的表现,该模型原则上可推广到任何超声切面,有辅助超声医师提升诊断效率的潜力。

关键词：超声心动图关键帧深度学习

在线全文

学校读者我要写书评

暂无评论

基于关键帧的多媒体视频无损转码压缩算法

计算机仿真 2023年第7期40卷 220-223,408页

作者：刘云龙赵树海军工程大学湖北武汉430033

传统多媒体视频压缩算法无法准确提取视频转码关键帧,导致视频转码压缩的信噪比与压缩比均偏低。为此提出基于关键帧的多媒体视频无损转码压缩算法。通过视频图像包含的I帧分量信息构建DC缩图。利用相似性度量图像帧中所处不同位置的信... 详细信息

传统多媒体视频压缩算法无法准确提取视频转码关键帧,导致视频转码压缩的信噪比与压缩比均偏低。为此提出基于关键帧的多媒体视频无损转码压缩算法。通过视频图像包含的I帧分量信息构建DC缩图。利用相似性度量图像帧中所处不同位置的信息重要性差值,提取关键帧,采取自适应运动补偿方式获取各关键帧的预测残差图和运动向量。采用SPIHT算法量化小波系数及分层编码对其处理,实现多媒体视频无损转码压缩。实验结果表明,上述算法具有较好的查全率、查准率和压缩比,且在不同带宽和分量条件下能够保持较高的信噪比,保证了压缩后的多媒体视频具有良好的清晰度。

关键词：关键帧多媒体视频无损转码压缩算法自适应码率

在线全文

学校读者我要写书评

暂无评论

带关键帧和可靠平面表示的激光定位算法

西北工业大学学报 2020年第6期38卷 1339-1344页

作者：张钊张轶黄瑞四川大学计算机学院四川成都610000

激光实时定位与地图构建(simultaneous localization and mapping,SLAM)是创建地图和实时导航的重要手段之一,也是无人驾驶不可缺少的一环。针对目前激光SLAM算法对特征匹配可靠性不足、配准误差较大等问题,基于平面拟合算法,提出一种... 详细信息

激光实时定位与地图构建(simultaneous localization and mapping,SLAM)是创建地图和实时导航的重要手段之一,也是无人驾驶不可缺少的一环。针对目前激光SLAM算法对特征匹配可靠性不足、配准误差较大等问题,基于平面拟合算法,提出一种局部地图改进和关键帧估计的方案。具体包括以下3个方面:①局部地图匹配规则和平面表示方法;②局部地图更新方案;③关键帧筛选机制。该方法解决了目前激光定位方案中缺乏关键帧估计,以及局部地图中平面多向性问题,实验表明该方法使得局部地图能够保留更具多样性的激光雷达帧,同时平面表示和匹配也更为可靠。

关键词： SLAM 点云定位算法关键帧无人驾驶

基于重叠区域相关系数的视频影像关键帧提取算法

在线全文

学校读者我要写书评

暂无评论

武汉大学学报（信息科学版） 2019年第2期44卷 260-267页

作者：卢小平卢遥焦金龙童小华张继贤河南理工大学矿山空间信息技术国家测绘地理信息局重点实验室河南焦作454003 同济大学测绘与地理信息学院上海200092 国家测绘产品质量检验测试中心北京100830 河南省遥感测绘院河南郑州450003

提出了3种基于影像重叠区相关系数的视频影像关键帧快速提取算法。该算法首先采用多项式快速、准确地拟合出视频影像相关系数的变化趋势,然后利用相邻关键帧影像重叠区的高相关特性实现关键帧帧位的快速、准确提取,并通过实例与基于重... 详细信息

提出了3种基于影像重叠区相关系数的视频影像关键帧快速提取算法。该算法首先采用多项式快速、准确地拟合出视频影像相关系数的变化趋势,然后利用相邻关键帧影像重叠区的高相关特性实现关键帧帧位的快速、准确提取,并通过实例与基于重叠度计算关键帧算法的时效性进行对比。结果表明,该算法单次计算相关系数的时间相对于单次重叠度计算时间缩短了近4倍,准确度达到88%,且针对不同拍摄手段下的视频影像,提取的关键帧影像精度较高。同时,还对基于视频提取的关键帧影像进行全景图拼接,结果显示未出现明显场景缺失,且可靠性高,适用性强。

关键词：视频流数据关键帧多项式拟合重叠度相关系数

基于图像关键帧的Visual-Depth Map建立方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

哈尔滨工业大学学报 2018年第11期50卷 23-31页

作者：马琳杨浩谭学治冯冠元哈尔滨工业大学电子与信息工程学院哈尔滨150001

对于室内视觉定位系统,需要在离线阶段建立Visual Map数据库用来存储图像信息,在线阶段用户通过与Visual Map数据库进行比对来完成用户位置的估计.离线阶段建立的数据库可以采用逐点采样或视频流采样的方式.但是无论何种方式,考虑到数... 详细信息

对于室内视觉定位系统,需要在离线阶段建立Visual Map数据库用来存储图像信息,在线阶段用户通过与Visual Map数据库进行比对来完成用户位置的估计.离线阶段建立的数据库可以采用逐点采样或视频流采样的方式.但是无论何种方式,考虑到数据库中图像信息的相似性,传统方式建立的数据库中存储图像有较多冗余,导致增加了在线阶段的定位时间开销.因此,本文根据Visual Map中的相邻图像间的相似性,提出了一种基于图像关键帧的Visual-Depth Map建立方法,有效地减少了离线数据库的规模.在离线阶段,本文使用Kinect传感器同时获得图像信息和深度信息;然后,通过基于图像相似度的图像关键帧算法对原始图像序列进行筛选,得到关键帧序列,从而实现Visual-Depth Map的建立.在线阶段,用户可以直接输入查询图像与Visual-Depth Map中的图像序列进行检索匹配,找到相似度较高的匹配图像,再通过EPnP算法进行2D-3D的位姿估计,完成用户位置的计算.实验证明,本文所提方法可以在保证较高定位精度的前提下,有效减少离线数据库规模,降低在线阶段的定位时间开销.

关键词：室内定位系统视觉定位 Visual-Depth Map 关键帧

基于关键帧和逆运动学的混合现实手臂运动合成技术研究

在线全文

学校读者我要写书评

暂无评论

基于关键帧和逆运动学的混合现实手臂运动合成技术研究

作者：石浪涌内蒙古大学

学位级别：硕士

近年来混合现实(Mixed Reality,MR)技术在基础硬件与应用上均取得了较大的进展。在混合现实原有传感器设备下进行手臂运动合成时,混合现实设备因为只能采集到低维的人体手部的运动信息,所以大部分混合现实应用中只显示了手部的运动,而... 详细信息

近年来混合现实(Mixed Reality,MR)技术在基础硬件与应用上均取得了较大的进展。在混合现实原有传感器设备下进行手臂运动合成时,混合现实设备因为只能采集到低维的人体手部的运动信息,所以大部分混合现实应用中只显示了手部的运动,而没有手肘、肩膀关节的运动表示,对于强调沉浸式和真实性的混合现实技术来说是明显不够的。目前生成混合现实设备下高质量的手臂运动,多数方案采用增加额外的传感器,从而获得更高维度的运动数据,但其也增加了环境搭建的难度,使用户自身穿戴设备增多。在牺牲少量手臂运动生成精度的情况下,去利用混合现实设备原有传感器的低维特征合成连续自然的手臂是十分有必要的。人体运动在一些特定场景运动时,各关节的运动轨迹都是固定不变的,运动过程也是重复的,如舞蹈、武术等运动。为此,提出了一种关键帧和逆运动学相结合,利用混合现实设备捕获到的手部位置信息进行手臂运动合成的方案。首先,利于基于人体物理结构特征的近邻传播聚类算法进行运动关键帧的自动提取,以减少人体运动数据中大量的冗余数据。其次,本方法只需提供手腕位置便可进行,将手腕位置作为末端效应器位置,通过逆运动学求解的关节旋转角实现了对手臂位置姿态的逼近,以合成人体高质量手臂运动序列。仿真实验结果表明,该方法缩短了FABRIK逆运动学算法的回溯路径以及计算量的减少,本文提出方法驱动动作快,改善了逆运动学算法只是对末端效应器的逼近而不能生成高质量的手臂运动,解决了混合现实应用中在少量传感器下实时数据重建出自然和连续的虚拟手臂较难的问题,可用于混合现实应用中合成高质量的虚拟手臂运动。但当手部运动类型不在运动数据库中时,将只使用逆运动学算法合成手臂运动,仍然会面临合成运动不自然、计算量大等问题。

关键词：混合现实运动合成 FABRIK算法运动捕捉关键帧