检索结果-南通市图书馆

基于多模态特征融合的高效性语义视频检索系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

广播电视信息 2024年第8期31卷 16-18页

作者：庄海海南广播电视总台

本文以"视听海南"APP为例,提出了一种基于多模态特征融合的高效性语义视频检索系统.该系统采用无监督的DBSCAN聚类分析,从高维度视频帧内容编码中筛选关键帧,并引入注意力机制和掩体动作来识别预训练网络组成的并行编码器,捕捉图像的局... 详细信息

本文以"视听海南"APP为例,提出了一种基于多模态特征融合的高效性语义视频检索系统.该系统采用无监督的DBSCAN聚类分析,从高维度视频帧内容编码中筛选关键帧,并引入注意力机制和掩体动作来识别预训练网络组成的并行编码器,捕捉图像的局部空间和动作信息,利用对抗生成网络和三元组损失函数优化不同模态特征的对齐,实现高效且准确的视频检索服务.

关键词：多模态视频检索特征融合聚类分析

基于宽容训练和隐私保护的快速监控视频检索模型

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

软件学报 2023年第3期34卷 1292-1309页

作者：覃浩王平辉张若非覃遵颖西安交通大学网络空间安全学院陕西西安710049 智能网络与网络安全教育部重点实验室(西安交通大学) 陕西西安710049 西安交通大学软件学院陕西西安710049

监控视频关键帧检索和属性查找在交通、安防、教育等领域具有众多应用场景,应用深度学习模型处理海量视频数据在一定程度上缓解了人力消耗,但是存在隐私泄露、计算资源消耗大、时间长等特点.基于上述场景,提出了一个面向大规模监控视频... 详细信息

监控视频关键帧检索和属性查找在交通、安防、教育等领域具有众多应用场景,应用深度学习模型处理海量视频数据在一定程度上缓解了人力消耗,但是存在隐私泄露、计算资源消耗大、时间长等特点.基于上述场景,提出了一个面向大规模监控视频的安全、快速的视频检索模型.具体地,根据云端算力大、监控摄像头算力规模小的特点,在云端部署重量级模型,并使用所提出的宽容训练策略对其进行定制化知识蒸馏,将蒸馏后的轻量级模型部署在监控摄像头内,同时使用局部加密算法对图像敏感部分进行加密,结合云端TEE技术和用户授权机制,在极低资源消耗的情况下实现隐私保护.通过合理控制蒸馏策略的“容忍度”,能够较好地平衡摄像头视频输入阶段和云端检索阶段的耗时,在保证极高准确率的前提下,保证极低的检索时延.相比于传统检索方法,该模型具有安全高效、可伸缩、低延时的特点.实验结果显示,在多个公开数据集上,该模型相比于传统检索方法提供9×-133×的加速.

关键词：视频检索隐私保护知识蒸馏课程学习

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

视频检索中图像信息量度量

通信学报 2016年第2期37卷 80-87页

作者：袁庆升张冬明靳国庆刘菲包秀国中国科学院信息工程研究所北京100193 国家计算机网络应急技术处理协调中心北京100029 中国科学院智能信息处理重点实验室北京100190 中国科学院计算技术研究所北京100190

综合考虑信息量度量的速度、性能要求,提出了相适应的显著图、多特征融合模型;基于区域划分融入空间关系,提出了分块信息熵的图像信息量度量方法(SEII);构建了信息量度量的标注数据集,并设计了性能验证方法。实验结果表明该度量方法符... 详细信息

综合考虑信息量度量的速度、性能要求,提出了相适应的显著图、多特征融合模型;基于区域划分融入空间关系,提出了分块信息熵的图像信息量度量方法(SEII);构建了信息量度量的标注数据集,并设计了性能验证方法。实验结果表明该度量方法符合人眼视觉的评价结果。度量方法在实际视频检索系统中进行对比应用测试,测试表明m AP提高4.4%,检索速度提高1.5倍。

关键词：视频检索关键帧选择图像信息量显著区域多特征融合

基于镜头注意力的新型视频检索网络——从影视片段检索片源

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于镜头注意力的新型视频检索网络——从影视片段检索片源

作者：张恒华中科技大学

学位级别：硕士

随着网络技术和信息科技的不断发展,以及智能手机、数码相机等硬件设备越来越趋于大众化,人们通过网络所发送和接收的数字信号如文本、语音、图片、视频等,无论是在质量上还是数量上都有显著的提升。而在这些数字信号中,视频是携带信息... 详细信息

随着网络技术和信息科技的不断发展,以及智能手机、数码相机等硬件设备越来越趋于大众化,人们通过网络所发送和接收的数字信号如文本、语音、图片、视频等,无论是在质量上还是数量上都有显著的提升。而在这些数字信号中,视频是携带信息量最丰富多样化的媒体。由于视频拍摄以及创作技术门槛的降低,人们有更多的途径可以获取到内容越来越丰富的视频。面对呈指数增长的视频数据,人们需要从中快速有效地检索出对其有价值的视频,因此视频领域的检索问题已然成为当今信息化时代亟待解决的难题。目前,以抖音为代表的短视频平台受到广泛的使用与喜爱,用户有时会在平台上看到一些电影的剪辑片段并可能对此产生兴趣,但会常常苦于无法得知对应源电影的相关信息。本文针对这一现象并结合当前视频检索领域的发展,创新性地提出利用影视片段从视频库里检索出与之对应的整部电影的视频检索任务。值得说明的是,该任务不仅适用于上述娱乐推荐场景,也可用于版权检测,相似片段检索等其他现实场景。针对上段所提出的新型视频检索任务并考虑到现有检索框架中繁琐复杂的后处理过程,本文首先将该检索问题转化为分类问题,即预测查询视频与视频库中的某个视频在内容上是否具有包含关系,并提出了基于镜头特征的新型视频检索框架。由于查询视频和视频库中的视频在时间维度上的显著差异,本文首先对视频的结构进行分析,并在此基础上对视频进行时间维度上的切分,利用镜头作为衡量二者相关程度的基本单位。为了在计算量可接受的范围内得到语义信息更丰富的特征,本文采用3D-Swin Transformer结构对切分得到的镜头进行特征提取,然后将这些镜头特征送入带有classified token的Transformer网络,使其在特征交互的过程中对那些相似的镜头给予更高的关注,从而使模型获得较好的分类效果和泛化性能。需要指出的是,首先由于该框架在特征提取和分类阶段仅采用了Transformer结构,因此相较于传统的时序神经网络RNN,LSTM等在计算上具有很好的并行性。其次该框架为端到端的,无需繁杂的后处理过程,如人工设计特征聚合及相似度计算等操作,而只需取数据库中使模型输出最高的视频作为检索结果即可。

关键词：深度神经网络视频检索镜头分割特征提取注意力机制端到端

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的视频检索技术研究

基于注意力机制的视频检索技术研究

作者：苏清松北方工业大学

学位级别：硕士

互联网技术的发展给视频传播带来了极大的便利,抖音、B站等视频平台的出现也使得视频数量急剧增长。面对数量巨大且结构复杂的视频数据,如何高效检索出用户需要的内容成为目前检索领域研究的热点和难点,传统基于文本的视频检索方法已经... 详细信息

互联网技术的发展给视频传播带来了极大的便利,抖音、B站等视频平台的出现也使得视频数量急剧增长。面对数量巨大且结构复杂的视频数据,如何高效检索出用户需要的内容成为目前检索领域研究的热点和难点,传统基于文本的视频检索方法已经难以满足人们日益增长的需要。因此,基于内容的视频检索方法随之产生并得到广泛应用,本文主要对该方法中的视频特征提取部分进行改进,主要做了以下工作:第一,视频数据相较于文本和图片携带了更加丰富的内容,视频可以理解为由视频帧按一定时间关系排列而成的集合。因此,视频数据相对于图像的检索也变得更加困难,目前大多数视频检索方法并没有对视频帧之间的时序关系进行学习。针对这一问题,本文使用卷积神经网络与双向LSTM网络相结合的方式对视频特征信息进行提取,传统的单向LSTM网络能够提取视频的时序信息但不够全面,通过改用双向LSTM网络能够获取过去和以后更为完整的特征信息。通过使用该网络不仅能获得视频的空间特征,还能对视频帧与帧之间的时序信息进行提取,使得视频内容得到充分表达。第二,对于视频而言,不同视频帧对于视频内容的表达作用是不同的,但目前大多数视频检索方法对此不加区分,这样会对视频特征提取带来大量冗余信息,进而对视频检索的效率和准确度产生影响。本文通过使用基于注意力机制的视频检索方法,在Res Net50网络基础上,将SE模块嵌入其中实现对不同通道特征进行加权计算,使能够促进视频表达的内容获得更大的权重,同时减小对视频表达作用较小内容的权重,从而减少特征信息中的冗余信息,并进一步提升视频特征的表达能力。最后,使用本文方法在公开数据集上进行相关实验,相较于之前的视频检索方法效果有所提升,同时设计并实现了基于该方法的视频检索系统,证明了本文研究的可行性和实用性。

关键词：视频检索深度学习特征提取注意力机制循环神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大规模数据视频检索的深度哈希方法研究

面向大规模数据视频检索的深度哈希方法研究

作者：周玥南京理工大学

学位级别：硕士

随着短视频行业的空前发展及视频拍摄工具的快速升级,近年来视频数据在网络上的体量呈指数级增长,对大规模视频检索任务的性能提出了新的要求。哈希是一种将数据转换为低维表示的技术,作为近似最近邻搜索的流行解决方案之一,可被用于大... 详细信息

随着短视频行业的空前发展及视频拍摄工具的快速升级,近年来视频数据在网络上的体量呈指数级增长,对大规模视频检索任务的性能提出了新的要求。哈希是一种将数据转换为低维表示的技术,作为近似最近邻搜索的流行解决方案之一,可被用于大规模视频检索任务以降低时间和空间复杂度。随着适合对序列型数据建模的深度模型,如:3D ConvNets、LSTM和Transformer的出现,深度视频哈希方法逐渐成为研究的热点。在深度视频哈希领域已经存在一些优秀的方法,但这些方法或多或少存在一些缺陷,例如在哈希学习中没有考虑数据的流形分布、模型捕捉视频间的双向时序信息能力较弱、没有充分利用多模态数据等。为了解决上述存在的问题,本工作在深度视频哈希领域进行进一步探索,提出了两种方法以应对现有缺陷。本工作的内容如下:(1)在现有的基于相似度重构的视频哈希方法中,其相似度矩阵的构造一般只考虑了数据对在欧几里得空间中的分布,而很少考虑数据的流形分布;在汉明空间中重构原始空间的相似结构时,通常只考虑了数据对两两之间的局部相似性保持,而很少考虑到同类数据内聚性要高、不同类数据之间的分散性要好的全局相似性的保持;现有方法的网络结构多基于单向模型如LSTM、3D ConvNets等,很难充分挖掘视频中双向的时序信息,造成学习的哈希码次优。本工作提出基于流形相似度保持的视频哈希方法(Manifold based Similarity preservation Video Hashing,MSVH),MSVH在构造相似度矩阵时,结合流形分布纠正欧几里得空间构造的相似度矩阵,同时,利用矫正的相似度矩阵的二阶信息给数据打上伪标签,进一步限制数据分布使得具有相同伪标签的数据的内聚性高、不同伪标签的数据分散性高。另外,MSVH同时从局部和全局角度进行相似度保持。在模型方面,MSVH采用双向Trasformer作为基础网络框架,充分挖掘视频中的时序信息以进一步提升模型性能。(2)为了充分利用视频的多模态信息,同时为了避免构造相似度矩阵时时间和空间消耗较大的问题,本工作提出了基于对比学习的多模态视频哈希方法(Contrastive Transformer based Video Hashing,CTH)。由于光流模态富含视频中的运动轨迹信息,模型将输入扩展为两个模态:RGB视频模态和光流模态,以充分挖掘视频中的时序信息。同时,为了学习到视频中更细粒度、更具有鉴别性的特征,CTH提出了模态内-模态间对比学习损失,通过将视频帧打乱顺序构造一个负样本集合,在模态内展开对比学习以挖掘细粒度时序信息,同时,在两个模态间也进行对比学习以挖掘每个视频的本质特征。CTH在三个常用的视频动作识别领域的数据集上取得了现有最佳性能。

关键词：视频哈希表示视频检索无监督学习多模态哈希对比学习自监督范式

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深浅层特征融合的视频检索技术研究

基于深浅层特征融合的视频检索技术研究

作者：王春真北方工业大学

学位级别：硕士

随着互联网技术与智能电子设备的发展,视频逐渐成为当今信息交流的主导形式。而各种短视频平台的兴起,也为互联网用户快速浏览、上传和下载视频提供了便利,视频数据量呈现指数级增长。大量的视频数据不断产生,如何对视频信息进行有效管... 详细信息

随着互联网技术与智能电子设备的发展,视频逐渐成为当今信息交流的主导形式。而各种短视频平台的兴起,也为互联网用户快速浏览、上传和下载视频提供了便利,视频数据量呈现指数级增长。大量的视频数据不断产生,如何对视频信息进行有效管理和快速检索已经成为一个关键性问题。现有的视频检索方式以基于内容的视频检索为主,它能够根据输入的视觉内容,检索到与之内容相似的视频。本文主要对该技术中的关键帧提取、特征提取两个部分进行研究,并设计了视频检索系统进行应用。目前,在关键帧提取方面,现有方法以基于聚类为主,忽略了视频的时序特性、提取特征单一,无法充分表达视觉内容。在特征提取方面,单个特征生成的哈希码容易造成错误匹配的现象。针对关键帧提取、特征提取技术存在的不足,本文进行了以下工作:(1)在关键帧提取方面,本文提出一种改进的深浅层特征融合的关键帧提取算法。首先,构建视频摘要模型预测每帧得分。通过融合深层CNN特征与浅层SURF特征来改进无监督模型,提高特征描述符对图像的表述能力,降低训练时真实数据缺失造成的影响;使用Bi LSTM作为主体网络来读取视频帧的上下文信息,采用奖励机制提升网络的性能。最后,根据模型输出结果生成视频摘要。使用动态规划算法来提取关键镜头;设计了基于局部极大值的关键帧提取算法,根据镜头内帧重要性分数的极大值来选择关键帧,并计算特征相似度去除冗余。(2)在视频特征提取方面,本文结合SURF与p Hash来进行特征提取。首先,改进p Hash算法来减少哈希码长度。再提取图像的SURF特征,并对SURF使用VLAD进行编码,保留更多的特征细节信息;使用PCA在较大程度上保留特征信息,降低特征维度;使用LSH对该特征进行哈希编码。将上述处理后的两种特征结合,用于检索。(3)应用上述两部分研究内容,实现了视频检索系统。在系统中,输入图像,能够检索到包含相似内容的视频并进行展示。最后,本文通过进行相关实验,验证了所提算法在视频检索中的有效性,并将本文研究内容应用至视频检索系统。

关键词：视频检索深浅层特征融合关键帧提取特征提取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自监督学习的视频检索算法研究

基于自监督学习的视频检索算法研究

作者：朱子奇浙江大学

学位级别：硕士

随着视频平台用户生成内容的数量爆发式增长,通过视频内容在视频库中查询相关视频的视频检索算法被广泛应用在版权保护、新闻事件聚合和个性化推荐等场景中。视频检索是一个包含同源复制视频片段检索和事件级视频检索的多维度细粒度的任... 详细信息

随着视频平台用户生成内容的数量爆发式增长,通过视频内容在视频库中查询相关视频的视频检索算法被广泛应用在版权保护、新闻事件聚合和个性化推荐等场景中。视频检索是一个包含同源复制视频片段检索和事件级视频检索的多维度细粒度的任务,非常具有挑战性。现有的视频检索相关工作缺乏对视频结构信息的提取和对语义信息的理解。同时,多数工作仍然依赖于人工标注的相关视频对,不利于泛化性能的提升。本文提出了全新的视频检索架构,从底层特征模型的训练到召回排序的链路都进行了优化创新,并且完全基于自监督算法,不引入人工标注的视频数据。特征模型方面,本文提出了基于自监督的视频帧特征提取网络,针对视频检索细粒度任务分别提出了基于数据增强的自监督、基于视频数据结构的自监督和引入文本图像对作为跨模态辅助自监督的三种监督构造方法。最后通过偏序学习和多任务学习融合了三种监督方法,使模型同时具备了图像变换特征不变性和事件语义信息理解能力。在检索方法和现有工作保持一致的前提下,在FIVR-200K事件细粒度数据集和EVVE事件数据集上多项指标都超越了现有方法。检索方法方面,本文提出了基于无监督的多帧特征召回排序算法。通过基于无监督的帧特征权重提取算法对特征赋权,降低了空白帧等无效内容的特征权重,提高了检索准确率。提出了基于自适应分镜算法进行分镜召回的结构,在性能基本不下降的前提下,大大提高了视频检索的效率。最后提出了基于动态规划的排序算法,结合特征赋权算法进一步提高了视频检索的性能。本文提出的视频检索算法架构在FIVR-200K、SVD、EVVE三大数据集上都实现了性能和效率的全面领先。在性能上,本文提出的方法在FIVR-200K的DSVR、CSVR、ISVR三个子任务上的mAP分别领先现有工作0.7%、1.1%、2.0%。在EVVE和SVD数据集上的mAP分别领先现有工作0.5%、0.8%。在效率上,本文提出的召回排序二阶段方法在FIVR-200K数据集上实现了将检索时间降低到全量匹配的1%以下。本文为视频检索领域提供了高性能、高效率的解决方案。

关键词：视频检索计算机视觉深度学习信息检索自监督学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

层次化跨模态文本视频检索方法研究

层次化跨模态文本视频检索方法研究

作者：丁子芮西安电子科技大学

学位级别：硕士

随着移动互联网的高速发展和数字流媒体的广泛普及,视频作为一种常见的数据载体,制作门槛持续降低、传播效果不断提升,互联网视频数据呈现井喷态增长趋势。海量的视频数据与人们的生产生活息息相关,蕴藏着丰富的经济价值和社会价值,如... 详细信息

随着移动互联网的高速发展和数字流媒体的广泛普及,视频作为一种常见的数据载体,制作门槛持续降低、传播效果不断提升,互联网视频数据呈现井喷态增长趋势。海量的视频数据与人们的生产生活息息相关,蕴藏着丰富的经济价值和社会价值,如何对其进行高效精确的检索已经成为当前学术界研究和商业界开发的焦点之一。利用文本描述检索视频的文本视频跨模态检索方法突破了传统关键词视频检索方法的技术瓶颈,全面精确地表达用户的搜索意图,是解决视频检索的有效技术途径。现有文本视频跨模态检索方法通常将整个文本和视频映射到公共的联合语义嵌入空间,生成文本和视频一致性的公共表征,从而可以将文本和视频间的相似性计算转换为数据特征表示间的矢量距离运算。然而现有的文本视频跨模态检索方法存在两个问题:一是现有方法只学习了文本和视频数据的全局特征,无法有效捕获复杂长文本的语义细节,也忽略了学习视频数据时序性特征及文本视频间的上下文时序关联,不利于实现两种不同模态数据的跨模态相似性表达和计算;二是音频数据和视频数据有着天然密切的帧级时序准确对应关系,但其对视频检索的辅助作用仍未被挖掘。本文结合层级特征和音频辅助,提出两种文本视频跨模态检索方法,有效解决了现有方法存在的两个问题。本文的主要工作如下:(1)针对现有方法无法有效表征数据时序性语义细节的问题,提出一种基于层次化语义匹配的文本视频跨模态检索方法。该方法使用语义解析工具包将文本解析构建为三层语义图,并通过图卷积神经网络对其进行语义关联的自注意力图推理以获取三层级的文本特征;生成三种不同的卷积神经网络对视频数据的全局事件、局部动作、和局部实体三层级的语义进行时序性表征,并与文本语义特征对齐,实现从全局到局部的文本视频多层级语义关联匹配。实验结果表明,本方法可以较好地捕获文本和视频数据的语义细节,提升跨模态特征的语义可辨别性,有利于文本视频细粒度的关联匹配,具有跨模态检索精度更高的优势。(2)针对现有方法忽略音频对检索的辅助作用的问题,提出一种音频-空间注意力增强的层次化文本视频跨模态检索方法。该方法提取文字化音频数据中的名词短语,并利用其对视频数据局部实体级特征中的相应实体区域施以注意力权重,以专注于和音频相对应的实体级特征来捕获显著的视频要素,消除信息冗余,从而提升视频数据特征的细粒度语义可辨别性。实验结果表明,本方法可以更好地捕获视频确切的主要实体信息,大幅度减轻跨模态特征匹配的歧义,较传统方法有更出色的检索表现。

关键词：视频检索跨模态层次化注意力机制