检索结果-南通市图书馆

作者：高豪杰西安电子科技大学

学位级别：硕士

图像融合是计算机视觉领域中重要的研究方向。由于传感器成像原理的不同,其获取的图像可反映场景中的不同信息,而图像融合技术可将不同传感器的图像进行融合,生成信息丰富的图像。作为图像融合中最重要的任务之一,红外与可见光图像融合... 详细信息

图像融合是计算机视觉领域中重要的研究方向。由于传感器成像原理的不同,其获取的图像可反映场景中的不同信息,而图像融合技术可将不同传感器的图像进行融合,生成信息丰富的图像。作为图像融合中最重要的任务之一,红外与可见光图像融合在视频安全监控、遥感影像处理、军事侦察等领域有着广泛应用。现有传统融合方法通用性较差且融合过程耗时,基于深度学习的图像融合方法则提取有效特征的能力更强。然而许多基于深度学习的方法存在多模式信息提取不全面和差异特征融合不充分的问题,导致融合质量较差。此外,通过卷积进行融合的方法仅考虑局部特征,没有对长距离依赖关系进行建模,使得融合结果难以充分利用全局上下文信息。针对上述问题,本文对多模式特征提取与自适应特征融合等策略进行研究,主要内容如下:(1)对现有图像融合方法进行调研和总结,对传统方法与深度学习方法的优缺点进行总结,介绍图像融合方法评价标准,对图像融合发展趋势进行了分析,对公开数据集进行简要介绍,为后续模型的评价分析提供数据支撑。(2)针对基于CNN的融合方法忽视长距离依赖建模、融合策略与多模式特征不匹配的问题,提出了一种基于Focal Transformer融合模型与多模式特征自适应融合策略的图像融合方法,称为MFST。首先,针对多模式特征在不同尺度上的特性设计多模式特征自适应融合策略,利用特征联合损失保留更多的源图像结构特征。其次,将焦点Transformer与编解码器网络结合,构造了一种引入优化后焦点自注意力的融合模型,对特征中长距离依赖进行建模,有效融合图像中的全局上下文。最后,引入显著性融合策略,对显著性部分与背景细节部分分别融合,提升融合图像的视觉效果。实验表明该方法在TNO、FLIR、LLVIP等数据集的主观视觉与客观评价上优于主流方法。(3)针对现有的图像融合方法特征提取效果单一和融合过程中缺少跨域交互的问题,提出了基于跨域交叉注意力的红外与可见光图像融合方法CATF。首先,使用嵌套的U形网络提取多尺度特征,从浅层和深层捕获更丰富的局部与全局信息。其次,使用跨域交叉注意力的Transformer模块进行特征融合,充分整合红外与可见光特征的互补信息。实验表明,所提出方法能够有效提升融合图像的质量,生成更高质量的融合图像,在TNO、FLIR、LLVIP等数据集上表现优于流行方法。

关键词：红外与可见光图像图像融合多模式特征注意力机制深度学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于眼动序列分析的眨眼检测

引用

计算机工程与应用 2019年第8期55卷 40-47,73页

作者：高宁王兴元王秀坤大连理工大学电子信息与电气工程学部辽宁大连116024 大连海事大学信息科学技术学院辽宁大连116026

提出一种采用级联的序列级和帧级两层检测模型,分别处理持续睁眼和眨眼的视频片段,由粗到精渐进地检测眨眼的方法。在序列级初步检测阶段,将视频表示为浓缩图并提取卷积神经网络(CNN)特征。累计视频中的帧间光流,采用特征包模型表示为... 详细信息

提出一种采用级联的序列级和帧级两层检测模型,分别处理持续睁眼和眨眼的视频片段,由粗到精渐进地检测眨眼的方法。在序列级初步检测阶段,将视频表示为浓缩图并提取卷积神经网络(CNN)特征。累计视频中的帧间光流,采用特征包模型表示为动态特征,融合以上两种特征进行分类,将持续睁眼和可能存在眨眼的视频快速分开。在帧级精确检测阶段,精细刻画眨眼过程,提取多模式特征描述可能眨眼的每帧图像,通过随机回归森林计算眼睛开合度,最终完成眨眼过程的精确定位。在两个数据库上进行了实验,将该算法与其他算法进行了定量比较,结果表明该算法在鲁棒性、正确率和处理速度等方面都达到很好的性能,具有明显的实用价值。

关键词：序列级检测帧级检测多模式特征随机回归森林

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习和脑功能特征的猕猴脑龄预测研究

基于深度学习和脑功能特征的猕猴脑龄预测研究

引用

作者：周敬超电子科技大学

学位级别：硕士

利用大脑影像所蕴含的特征进行回归预测得到的大脑预测年龄(Brainpredicted Age)被称作“脑龄”。已有研究表明,在正常个体的脑影像数据基础上建立稳定可靠的脑龄预测模型并计算得到的脑龄和生理年龄之间的差异,可以作为一种有效的生物... 详细信息

利用大脑影像所蕴含的特征进行回归预测得到的大脑预测年龄(Brainpredicted Age)被称作“脑龄”。已有研究表明,在正常个体的脑影像数据基础上建立稳定可靠的脑龄预测模型并计算得到的脑龄和生理年龄之间的差异,可以作为一种有效的生物标志物来区分不同类型的神经退行性疾病。然而已有研究大多是在人脑数据上进行脑龄建模和预测研究,而猕猴作为最重要的模式动物之一,其脑龄预测的研究较少,因此是否能够在猕猴上开展基于脑龄和生理年龄之间差异的脑疾病研究尚不清楚。并且已有的脑龄研究方法只关注单一尺度或者单一模式的功能特征,忽略了不同尺度以及不同模式特征数据所蕴含的大脑信息,使得脑龄预测的准确率有待进一步提高。针对上述已有研究的局限,本论文使用由The PRIMat E Data Exchange(PRIME-DE)公开数据集提供的450只猕猴个体的静息态功能磁共振影像数据,分别从多尺度数据融合和多特征数据融合的角度,开展了两个工作进行猕猴脑龄预测的研究。其中第一个工作是基于多尺度静息态功能连接模式的猕猴脑龄预测,利用提出的多分支视觉交叉注意力(Multi-Branch Vision Transformer,MB-Vi T)深度学习网络模型来融合多尺度的功能连接模式特征来达到更好的预测效果。第二个工作是基于多特征数据融合的猕猴脑龄预测,利用我们提出的多头注意力图卷积神经网络(Multi-Head Attention Graph Convolution Neural Network,MH-AGCNN)和多分支引导注意力神经网络(Multi-Branch Guided Attention Neural Network,MBGANN)来同时识别出多个低噪声、高聚类的脑网络空间模式数据以及对空间和时间模式进行有效融合并预测猕猴脑龄。实验结果表明,我们提出的模型相比较于基准模型都显示出更好的猕猴脑龄预测能力和稳定性。另外,我们分别对提出的深度学习网络模型进行了详细的消融实验以及置换检验分析,证实了方法的有效性以及预测结果的统计学意义。在针对模型的可解释性研究中,我们还识别出了对于预测贡献较大的大脑功能连接和脑区。综上所述,我们提出的深度学习方法为猕猴脑龄预测研究提供了新的思路和方案,也为将来在猕猴上开展基于脑龄和生理年龄之间差异的脑疾病研究打下了基础。

关键词：大脑年龄猕猴多尺度特征多模式特征深度学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于HEVC的压缩域视频摘要技术研究

基于HEVC的压缩域视频摘要技术研究

引用

作者：朱树明安徽工程大学

学位级别：硕士

移动互联网和智能多媒体技术的发展,使得数字视频成为人们记录生活、获取信息的一种重要形式。然而伴随着视频数据量地快速增长,给视频的存储和传输带来了巨大压力。因此,人们急需一种方法来缓解这种压力,视频摘要技术恰好能满足这种需... 详细信息

移动互联网和智能多媒体技术的发展,使得数字视频成为人们记录生活、获取信息的一种重要形式。然而伴随着视频数据量地快速增长,给视频的存储和传输带来了巨大压力。因此,人们急需一种方法来缓解这种压力,视频摘要技术恰好能满足这种需求。当前,视频摘要方法主要以时域算法为主,通常选取视频帧的颜色和纹理等特征用作关键帧的提取;在压缩域方面,有部分学者利用压缩视频流中的相关码流信息来实现视频摘要关键帧的提取,然而,该类方法仍然是沿用时域算法中的相关技术,未能真正实现视频摘要的压缩域特征提取。在视频摘要技术中,视频特征点的选取和关键帧的提取是决定最终生成视频摘要质量好坏的最关键步骤。为此,论文围绕这两个关键问题在基于HEVC(High Efficiency Video Coding)编码视频的压缩域方面进行了深入地研究。提出了基于改进聚类的压缩域视频摘要关键帧提取方法和基于帧内多模式特征的压缩域视频摘要生成算法。首先,通过研究发现HEVC帧内预测模式与图像纹理具有密切的关系,论文提出了一种基于改进聚类的压缩域视频摘要关键帧提取方法。该方法首先在HM(HEVC Model)解码端统计得到帧内亮度模式数并将其构建成模式特征向量作为图像的纹理特征。然后使用ISODATA(Iterative Self-organizing Data Analysis Techniques Algorithm)方法解决K均值算法无法提取设定聚类数目的问题,实现算法自适应地得到K值。最后利用改进后的K均值聚类算法对模式特征向量进行聚类并选取每个类内中间向量对应的帧作为候选帧,运用相似度对候选帧进行再次筛选,剔除冗余帧,进一步提高视频摘要的质量。实验结果表明,所提算法在Open Video Project数据集上提取关键帧的精度为71.5%,召回率达到91.2%,摘要综合指标F-score为80.2%,生成的视频摘要较好地表达了原视频内容,符合用户的观看习惯。其次,为克服视频特征点选取不全面而导致最终生成视频摘要质量不佳的缺点,论文提出了一种融合多个模式特征的压缩域视频摘要生成方法。该算法基于H.265/HEVC已编码I帧视频的亮度和色度预测模式信息,通过多个模式信息的归一化直方图实现视频帧的相似性检测,从而实现视频摘要关键帧的提取和摘要的生成。首先以PU块的4×4大小为基准,对不同尺寸的PU块赋予相应的权值,以消除尺寸大小不同对特征选取带来的影响。然后将统计得到的加权亮度模式和色度模式特征进行归一化处理,且考虑到人类视觉对亮度分量比色度分量敏感的因素,对归一化后的亮度和色度模式直方图分配了相应的系数,用以解决亮度和色度所带来的影响。最后将色度和亮度模式特征进行融合,形成最终的模式特征向量,并构建模式特征直方图模型。在视频摘要生成方面,基于所建立的模式特征直方图模型,提出了两种方法进行视频帧的相似性检测,并生成视频摘要。(1)提出一种基于直方图相交的关键帧提取方法,该方法首先利用相邻两帧模式特征直方图的相交距离进行相似度判定,然后对每个视频帧进行分类,最后选取每类第一帧作为关键帧生成视频摘要。(2)提出一种基于直方图差值的关键帧提取方法,该方法首先以相邻两帧模式特征直方图对应区间的差值占空比来进行对应区间的相似性判定,并对区间相似性小的区间数目进行统计。然后将统计得到的区间数目除以每帧总的区间数得到区间数占比,并以此对两帧进行相似性判定。最后将视频帧进行分类,选取每类第一帧作为关键帧,并按视频帧编号的顺序生成视频摘要。最后,论文经过大量实验确定了算法中相关参数的最优值,并将提出的算法应用于不同主题类型的视频上。实验结果表明,所提方法(1)在Open Video Project数据集上提取关键帧的准确率为79.2%,误差率为0.65;精度为63.4%,召回率达到79.2%,F-score为71.4%。所提方法(2)在相同数据集上提取关键帧的准确率为82.0%,误差率为0.64。其中,精度为65.0%,召回率达到82.0%,F-score为73.3%。与时域算法相比,由于所提压缩域算法不需要参数译码处理,因此算法耗时非常短,且提取关键帧的准确率最高。

关键词：视频摘要 HEVC 压缩域特征选取关键帧提取聚类多模式特征直方图模型

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：