检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

视频语义分析和事件检测技术研究

视频语义分析和事件检测技术研究

作者：于舟上海交通大学

学位级别：硕士

近年来,智能视频监控技术的研究与应用备受人们关注。作为其基础部分,视频语义分析和事件检测技术是一个非常活跃的研究方向,在许多方面有着广泛的应用前景。本文介绍了视频语义分析和事件检测技术的研究与发展现状,并在以下几个方面做... 详细信息

近年来,智能视频监控技术的研究与应用备受人们关注。作为其基础部分,视频语义分析和事件检测技术是一个非常活跃的研究方向,在许多方面有着广泛的应用前景。本文介绍了视频语义分析和事件检测技术的研究与发展现状,并在以下几个方面做了一些探索性工作: 1.本文提出了一种综合火焰检测和烟雾检测的火灾检测框架;基于监控视频内容构造了一组四元滤波器,可联合分析火灾区域的颜色、形状和动态特征,用统一的阈值区分火焰和非火焰区域。这种滤波分析方法保持了三个颜色通道之间的相关性,利用了火焰颜色、形状和动态特征之间的内在联系,降低了计算复杂度,能实现实时有效的早期火灾预警。 2.本文设计了一种基于隐马尔可夫模型(HMM)的事件检测框架,针对TRECVID给定的Gatwick机场监控视频,识别peoplemeet ,peoplesplitup,ELevatorNoEntry(会面,分离)等特定的语义事件。这一方法首先提取运动物体的轨迹;当运动物体共同出现时,以运动物体的相对位置作为HMM的观察值,实现会面分离等事件的识别和分类。针对TRECVID Gatwick机场监控视频的实验结果表明,这一方法可以准确有效地识别各类语义事件。在TRECVID 2009事件检测竞赛单元中,基于这一方法的People-SplitUp事件检测结果获得了BEST RUN。

关键词：视频语义分析事件检测火灾预警四元滤波器隐马尔可夫模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视频语义分析运动特征表征与抽取技术研究

计算机工程与应用 2007年第16期43卷 213-215,224页

作者：魏维何嘉刘凤玉南京理工大学计算机科学与技术学院南京210094 成都信息工程学院计算机系成都610225

视频运动特征蕴含丰富的语义信息,运动特征的简洁表征方式和高效抽取方法研究是视频语义分析的关键技术之一。针对视频语义分析的特点,将运动特征分为3类,分别对各类运动特征进行表征和抽取。相关抽取实验证明此方法可有效抽取语义分析... 详细信息

视频运动特征蕴含丰富的语义信息,运动特征的简洁表征方式和高效抽取方法研究是视频语义分析的关键技术之一。针对视频语义分析的特点,将运动特征分为3类,分别对各类运动特征进行表征和抽取。相关抽取实验证明此方法可有效抽取语义分析所需的运动特征,同时在运动特征抽取的基础上实现了基于运动的视频语义分析原型系统。

关键词：运动特征特征抽取视频语义分析摄像机运动

在线全文

学校读者我要写书评

暂无评论

视频语义分析内容表征方式研究

计算机工程 2007年第13期33卷 218-220,229页

作者：魏维叶斌张元茂成都信息工程学院计算机科学与技术系成都610225

从视觉和声音两方面对视频语义内容的表征技术进行研究。采用能反映时间语义约束、语义变化的帧切片策略选取关键帧,用时空注意力模型选择空域的内容,用分类器对这些区域进行基本语义分类识别,建立不同时间声音段的随机模型,进行声音语... 详细信息

从视觉和声音两方面对视频语义内容的表征技术进行研究。采用能反映时间语义约束、语义变化的帧切片策略选取关键帧,用时空注意力模型选择空域的内容,用分类器对这些区域进行基本语义分类识别,建立不同时间声音段的随机模型,进行声音语义内容表示和基本声音语义提取。实验表明,视频内容表征方式能简洁地表示视频的语义内容,有效提取视频基本语义。

关键词：视频内容表示特征表示特征抽取视频语义分析

基于局部敏感可鉴别组稀疏表示的视频语义分析

在线全文

学校读者我要写书评

暂无评论

江苏科技大学学报（自然科学版） 2017年第6期31卷 814-820页

作者：黄小璠詹永照柯佳苟建平江苏大学计算机科学与通信工程学院镇江212013

视频语义分析已经成为计算机领域的研究热点之一.为了提高基于稀疏表示的视频语义分析的准确性,文中结合基于稀疏系数的可鉴别函数和组稀疏模型,分析目前已有的局部敏感稀疏表示字典学习模型,提出一种基于局部敏感可鉴别组稀疏表示.该... 详细信息

视频语义分析已经成为计算机领域的研究热点之一.为了提高基于稀疏表示的视频语义分析的准确性,文中结合基于稀疏系数的可鉴别函数和组稀疏模型,分析目前已有的局部敏感稀疏表示字典学习模型,提出一种基于局部敏感可鉴别组稀疏表示.该方法利用组稀疏模型和可鉴别损失函数,在保持数据局部结构的基础上实现样本变量组水平上的稀疏性.所提方法首先构建局部敏感组稀疏字典,然后进行稀疏表示分类.为了验证上述方法的有效性,在TRECVID 2012和OV视频库上,将上述方法与多种算法进行对比,实验结果表明,基于局部敏感的可鉴别组稀疏表示方法能够有效提高视频语义分析的准确率.

关键词：视频语义分析稀疏表示组稀疏可鉴别性

在线全文

学校读者我要写书评

暂无评论

支持视频语义分析的异构分布式LSTM研究

支持视频语义分析的异构分布式LSTM研究

作者：刘亚文江苏大学

学位级别：硕士

循环神经网络(Recurrent Neural Networks,RNNs)通过隐藏层神经元间的反馈连接使得网络具有记忆数据历史信息的能力,适合于序列数据的分析与建模,已经成为自然语言处理、语音识别、机器翻译、视频分析等领域研究的热点。视频作为一种特... 详细信息

循环神经网络(Recurrent Neural Networks,RNNs)通过隐藏层神经元间的反馈连接使得网络具有记忆数据历史信息的能力,适合于序列数据的分析与建模,已经成为自然语言处理、语音识别、机器翻译、视频分析等领域研究的热点。视频作为一种特殊序列数据,可以使用RNN学习、挖掘视频内容间复杂的关联关系,进行视频语义信息的分析和理解。但现有的RNN对视频序列建模时,忽略了视频段动作语义的时间属性,导致在各时间步神经元均需进行大量复杂、耗时的矩阵计算。此外,随着模型规模和深度的扩大,以及视频数据量的指数级增加,训练时间开销急剧增长。RNN的训练涉及大量矩阵计算,具有复杂度高、时间开销大、对硬件要求高等特点,现有神经网络加速方法难以有效提高RNN的训练效率。本文在一种特殊的RNN模型—长短时记忆网络(Long Short-term Memory,LSTM)的基础上,针对应用到视频语义分析时存在的问题,研究了支持视频语义分析的异构分布式LSTM。本文主要研究内容如下:(1)首先分析用于视频语义分析RNN/LSTM的相关研究,针对目前RNN/LSTM模型无法有效利用视频序列自身特点及模型训练效率低、时间开销大等问题,提出异构分布式LSTM系统的结构,为高效训练支持视频语义分析的LSTM提供支撑。(2)针对现有LSTM对视频序列数据建模时存在的局限性,提出支持视频语义分析的分布式LSTM模型。首先改进现有的LSTM单元结构,设计时长敏感LSTM(Duration-aware LSTM,D-LSTM),使LSTM单元能够感知并记忆视频段动作语义的持续时间,自适应地更新神经元记忆信息,避免神经元状态更新时的冗余计算。在此基础上,提出了基于分布式神经元的D-LSTM模型,模拟生物神经系统中神经元并行运作机理,以D-LSTM单元为核心,将训练中复杂的矩阵运算分解到多个分布式神经元节点,利用其并行计算能力提高D-LSTM模型的训练效率。在Spark集群上实现了原型系统,使用Charades与COIN两个数据集进行了测试与分析,相比于分布式LSTM模型,分布式D-LSTM模型训练效率最高提升了22.7%、收敛速度最高提升了8.7%,相比GPU加速方式,训练效率最高提升了79.3%,而准确率仅与传统的LSTM模型相差1%左右。(3)在分布式D-LSTM的基础上,提出基于异构C/S的分布式训练方法。在分析神经元交互节点与分布式神经元节点中各计算任务特点的基础上,首先设计基于C/S的GPU与CPU协作策略,合理分解和分配计算任务,将分布计算通信代价大的复杂矩阵运算集中起来由GPU服务器集中完成,其他的计算任务由CPU集群完成,发挥CPU与GPU各自的计算优势。在此基础上给提出基于GPU/CPU的异构分布式D-LSTM训练方法,在神经元交互节点中增加GPU完成复杂的矩阵运算,复杂度较低的神经元交互节点中其他计算任务和分布式神经元节点中计算任务仍然使用CPU完成。实现了原型系统,使用Charades数据集与COIN数据集进行了测试与分析,实验结果表明相比分布式D-LSTM,在准确率不变的情况下,训练速度最高可以提升17.6%,收敛速度最高可以提升13%。

关键词：长短时记忆网络分布式神经元异构分布式时长敏感视频语义分析

基于多图正则化自动编码器深度网络的视频语义分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多图正则化自动编码器深度网络的视频语义分析

作者：方佳英江苏大学

学位级别：硕士

近年来,随着互联网技术和多媒体信息技术的高速发展,用户在网络上获取视频数据以及进行信息的传输更加方便,也造成了网络上的视频、图像等多媒体数据数量迅猛增加。视频数据作为当前互联网中的重要数据来源之一,它含有丰富的数据信息但... 详细信息

近年来,随着互联网技术和多媒体信息技术的高速发展,用户在网络上获取视频数据以及进行信息的传输更加方便,也造成了网络上的视频、图像等多媒体数据数量迅猛增加。视频数据作为当前互联网中的重要数据来源之一,它含有丰富的数据信息但是数据量大、数据结构复杂。视频数据的发展及对于视频智能化处理的需求促使人们在视频语义层面对数据进行分析,识别出视频的语义标签以实现对数据的更高效管理和检索。在视频管理和检索领域,研究提取视频的有效特征并且利用这些特征实现视频语义分析和概念检测成为热点问题。本文在查阅大量文献的基础上,首先介绍视频语义概念分析的研究背景、意义及国内外发展现状,其次介绍几种深度学习模型,如自动编码器模型和卷积神经网络模型,另外对于基于深度学习的视频语义概念分析研究应用进行简要说明。本文结合多图正则化的优势以及图像、视频特征提取的发展需求,提出多图正则化自动编码器网络模型、基于3D卷积神经网络(3DCNN)和多图正则化自动编码器(MGAE)的视频语义概念分析模型,并且基于提出的网络模型设计实现视频语义概念分析原型系统。本文主要研究内容如下:(1)提出了基于多图正则化的自动编码器网络。由于多媒体数据如图像、视频或音频等具有多样性特征,而传统的方法不适用于对这种数据集进行多视图建模,研究如何将流形学习中的图构造方法与自动编码器结合并用于多媒体数据多视图特征表示是一个重要问题。因此在多种图构造方法和拉普拉斯图正则化自动编码器网络的基础上,提出基于多图正则化的自动编码器网络。该方法通过在自动编码器网络中嵌入多图正则化约束项,从而使得学习获得的特征能够考虑样本之间的近邻关系、关联关系和类别关系,使其具有更好的泛化能力。将该网络用于图像特征的优化学习,实验结果表明,本方法可以更好地表达多视图的特征,从而提升图像分类的准确性。(2)提出了基于3D卷积神经网络和多图正则化自动编码器视频语义概念分析模型。该模型首先构建3D卷积神经网络用于学习提取视频特征,其次构建多图正则化自动编码器对于学习获得的视频特征进一步优化,从而不仅可以获得视频的时序信息和空间特征,还可以学习获得具有关联性和多视图的视频特征,使得整个网络模型能够学习提取出更加合理和有鉴别性的视频特征,提升视频语义概念分析模型的有效性和准确性。在典型视频数据集上的实验结果表明,所提出的网络模型能够更加合理地优化视频特征,从而有效提高视频语义概念检测的准确性。(3)根据面向对象的程序设计思想采用开发语言Python以及相关附加开发库Tensorflow、Keras等设计实现了基于多图正则化自动编码器深度网络的视频语义概念分析原型系统。该原型系统由视频数据预处理、模型训练、语义概念检测三个子系统构成,系统界面简洁,操作方便,验证了本文所提出的视频语义概念分析模型的可用性。

关键词：深度学习多图正则化自动编码器 3D卷积神经网络视频语义分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多层视频语义概念分析与理解

计算机辅助设计与图形学学报 2008年第1期20卷 85-92页

作者：魏维邹书蓉刘凤玉南京理工大学计算机科学与技术学院南京210094 成都信息工程学院计算机科学与技术系成都610225

基于统计学理论,提出了一种视频多粒度语义分析的通用方法,使得多层次语义分析与多模式信息融合得到统一.为了对时域内容进行表示,首先提出一种具有时间语义语境约束的关键帧选取策略和注意力选择模型;在基本视觉语义识别后,采用一种多... 详细信息

基于统计学理论,提出了一种视频多粒度语义分析的通用方法,使得多层次语义分析与多模式信息融合得到统一.为了对时域内容进行表示,首先提出一种具有时间语义语境约束的关键帧选取策略和注意力选择模型;在基本视觉语义识别后,采用一种多层视觉语义分析框架来抽取视觉语义;然后应用隐马尔可夫模型(HMM)和贝叶斯决策进行音频语义理解;最后用一种具有两层结构的仿生多模式融合方案进行语义信息融合.实验结果表明,该方法能有效融合多模式特征,并提取不同粒度的视频语义.

关键词：视频语义分析视频语义概念层次隐马尔可夫模型多模式融合

基于自适应局部敏感可鉴别组稀疏表示的视频语义分析

在线全文

学校读者我要写书评

暂无评论

基于自适应局部敏感可鉴别组稀疏表示的视频语义分析

作者：黄小璠江苏大学

学位级别：硕士

随着多媒体技术和互联网的迅猛发展,互联网中的视频数据日益增加。怎样才能从大量的视频数据中,又快又准地查找用户所需要的视频数据早就已经成为众多学者研究的热门课题。可是,由于数据量的激增和数据信息的飞速膨胀,传统的视频检索方... 详细信息

随着多媒体技术和互联网的迅猛发展,互联网中的视频数据日益增加。怎样才能从大量的视频数据中,又快又准地查找用户所需要的视频数据早就已经成为众多学者研究的热门课题。可是,由于数据量的激增和数据信息的飞速膨胀,传统的视频检索方法已经不足以满足用户日益增长的需求。因为在人们的日常理解范围内视频的底层特征与描述视频的高层语义概念之间有着难以逾越的鸿沟,所以怎样才能有效地实现语义鸿沟的跨越,从特定的视频数据中提取出便于人们理解的高层语义概念,如何有效地实现基于语义的视频分析已经成为视频语义分析研究中急需解决的热点问题之一。本文首先对视频语义分析的研究背景、研究意义及其研究现状进行了简单介绍,然后简述了稀疏表示理论及其在视频语义分析中已有的应用。根据相关稀疏表示方法的可改进之处结合视频语义分析的相关需要,本文提出基于局部敏感可鉴别组稀疏表示方法、基于自适应局部敏感可鉴别组稀疏的视频语义分析方法,并且设计实现了基于以上两种算法的视频语义检测原型系统。本文主要研究内容如下:(1)提出了一种局部敏感可鉴别组稀疏表示方法。基于局部敏感字典学习方法,综合考虑样本变量选择问题和同类视频数据间的相似性问题,利用组稀疏模型和可鉴别损失函数,在保持数据局部结构的基础上,实现样本变量组选择的同时使得视频稀疏表示特征满足Fisher判别准则,建立一个具有可鉴别性的组稀疏字典学习模型,进而有效地提高了视频语义分析能力。将本文所提算法与其他算法相比,根据对实验结果的研究分析可知,本文所提算法能够更加有效地提高视频语义分析的识别准确性。(2)提出了一种自适应局部敏感可鉴别组稀疏表示方法,进一步加强字典保留数据局部结构信息和其潜含判别信息的能力,从而进一步有效地提升视频语义检测的识别准确率。此方法在内容(1)的基础上,充分挖掘各个字典原子之间存在的线性表达和重构关系,构造一个自适应局部适配器,进而引导稀疏字典学习过程。该方法将不断地对构造自适应局部适配器阶段、稀疏编码阶段和字典更新阶段进行迭代,进而求解得到最终的优化字典。实验结果显示该方法与其他方法相比可以更加有效地提升视频语义分析的识别准确率。(3)采用面向对象的设计思想,应用内容(1)和(2)提出的方法,设计实现了一个基于自应局部敏感可鉴别组稀疏表示模型的视频语义检测原型系统。该系统主要包括3个主要功能模块,分别是:视频预处理模块、模型训练模块和视频语义检测模块。该系统界面友好,且操作简便,通过运行测试表明了所提出方法的可用性。

关键词：视频语义分析稀疏表示组稀疏可鉴别性自适应局部适配器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的视频语义概念分析

基于卷积神经网络的视频语义概念分析

作者：詹智财江苏大学

学位级别：硕士

近年来,随着多媒体技术的日新月异,视频语义概念检测成了大家日益关注的研究热点。而在多媒体数据中,视频相比较于其他数据所包含的信息更加的复杂,如何很好的得到每个视频所包含的语义概念,并将其作为视频合适的标签也就成为了视频检... 详细信息

近年来,随着多媒体技术的日新月异,视频语义概念检测成了大家日益关注的研究热点。而在多媒体数据中,视频相比较于其他数据所包含的信息更加的复杂,如何很好的得到每个视频所包含的语义概念,并将其作为视频合适的标签也就成为了视频检索领域中的重点和难点。本文首先介绍传统的视频语义分析方法,其次详细介绍深度学习中几种模型,并讨论以往视频语义分析方法存在的问题;再次主要介绍本文所提出的视频语义概念分析方法,并验证方法的有效性,且简单介绍原型系统的构建;最后讨论视频语义概念分析领域将来的研究方向。本文的主要内容如下:(1)提出基于拓扑模型预训练卷积神经网络的视频语义概念分析方法卷积神经网络可以自适应提取输入数据中的分布式表征,通过构建不同的操作层,将原始数据进行低层级特征提取,并进行高层的变换从而得到更复杂且更具鲁棒性的特征。针对该模型需要较多的有标签数据,且为了进一步提升模型对视频图像帧中目标的旋转、缩放、平移等不变性,首先将拓扑约束引入到稀疏线性解码器模型中提出一种拓扑线性解码器模型,将该模型作为卷积神经网络的预训练模型,然后用较少的有标签关键帧对该模型进行微调,从而得到针对视频数据集的卷积神经网络特征提取模型,最后将提取的特征输送到支持向量机中做进一步的结果预测。实验结果表明,基于卷积神经网络的特征提取方法比传统的特征提取方法效果要好,而且在基于拓扑模型预训练的基础上效果有进一步的提升。(2)提出基于自适应阈值混合池化卷积神经网络的视频语义概念分析方法传统的卷积神经网络模型的池化层一般为最大池化或者平均池化,而最大池化因每次都是选取最大值,故而容易过拟合,而平均池化虽然考虑了整个池化区域的所有激活值,却极容易因池化区域中存在过小的激活值而使得池化的结果普遍偏小从而容易造成欠拟合。对此,本文提出自适应阈值混合池化的方法来代替传统的卷积神经网络池化层的池化方法。首先计算池化区域中每个激活值对应的贡献概率,并基于此作为每个激活值的权重求出该池化区域的激活值加权和,用其作为该池化区域的阈值,将大于该阈值的激活值予以保留,并对保留的激活值做平均操作从而得到最后的池化结果。实验结果表明,该方法相比传统的最大池化和平均池化方法能够更进一步的提高视频语义分类的准确率。(3)设计并实现基于卷积神经网络模型的视频语义分析原型系统基于程序模块化的设计理念,采用Python、CUDA以及Theano和Numpy库作为系统的核心算法开发,PyQt作为原型系统界面的开发,设计并实现数据预处理、模型构建与训练、语义检测三大模块,验证了本文所提的视频语义概念检测方法的可用性。

关键词：视频语义分析卷积神经网络稀疏线性解码器拓扑约束关键帧池化