检索结果-南通市图书馆

遥感学报 2022年第4期26卷 722-738页

作者：薛朝辉张瑜娟河海大学地球科学与工程学院南京211100

高光谱遥感可同步获取地表覆盖空间影像和连续且精细的光谱数据,能够实现对地物的精细分类与识别。然而,高光谱图像的高维特性对分类带来巨大挑战。为此,本文探讨了一种基于卷积核哈希学习的高光谱图像分类方法。哈希学习可以将高维信... 详细信息

高光谱遥感可同步获取地表覆盖空间影像和连续且精细的光谱数据,能够实现对地物的精细分类与识别。然而,高光谱图像的高维特性对分类带来巨大挑战。为此,本文探讨了一种基于卷积核哈希学习的高光谱图像分类方法。哈希学习可以将高维信息表达为低维哈希编码,通过计算哈希编码内积并借助最小汉明距离实现分类。为了有效表达非线性数据,又发展了核哈希学习方法。然而,直接应用核哈希学习进行高光谱图像分类存在运行速度慢和未考虑空间邻域信息的不足。为此,本文在核哈希学习中引入径向基函数RBF(Radial Basis Function)作为损失函数以提高运行效率;同时,借助四维卷积操作充分表达空间邻域信息,提出了基于卷积核哈希学习的高光谱图像分类方法CKSH(Supervised Hashing with RBF Kernel and Convolution),同时探讨了该方法在仅利用光谱特征和光谱—空间联合特征上的分类效果。在国际通用测试数据Indian Pines和University of Pavia上进行了实验,结果表明:本文提出的CKSH方法优于传统分类方法(支持向量机、随机子空间)和其他哈希学习方法(如谱哈希、球哈希、监督离散哈希、潜在因子哈希等),同时在不同训练样本数量条件下均取得了较高的分类精度,达到96.12%(Indian Pines,10%的训练样本)和98.00%(University of Pavia,5%的训练样本),从而验证了该方法的有效性。

关键词：遥感高光谱图像哈希学习 RBF 四维卷积特征提取光谱—空间分类

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的手语识别算法研究

基于深度学习的手语识别算法研究

引用

作者：戴兴雨江苏科技大学

学位级别：硕士

手语是人类的一种肢体语言,也是听力障碍人士和正常人进行沟通最为主要的方式,但由于手语是一门小众的语言,绝大部分健听人士是没有学习手语的经历,也就无法和听力障碍人士正常交流。随着科学技术的发展,手语识别的研究成为目前热门研... 详细信息

手语是人类的一种肢体语言,也是听力障碍人士和正常人进行沟通最为主要的方式,但由于手语是一门小众的语言,绝大部分健听人士是没有学习手语的经历,也就无法和听力障碍人士正常交流。随着科学技术的发展,手语识别的研究成为目前热门研究领域之一,其涉及视频处理、计算机视觉以及自然语言处理等多个领域,是一项难度较高的研究热点。将听力障碍人士展示的手语手势实时的处理,将其转化为文字或者语音,可以促进听力障碍人群和正常人之间的交流,有助于推动社会的和谐发展。目前,对手语识别的主要研究方向是孤立词的分类和连续词汇的识别,本文主要针对连续手语识别进行研究。所做的工作如下:目前公开的手语数据集较少,尤其是中文手语数据集少之又少。针对这个问题我们自行建立了本文研究所需要的数据集。先是收集了目前已公开的连续中文手语数据集,又自行拍摄了多角度的连续手语视频集以及在各大视频网站爬取了各种手语教学视频。这些视频手部动作会有遮挡,而且变化快,我们又利用3DMAX建模的方式对手语进行建模,通过渲染视频减少手部遮挡。为了增强模型的稳定性,并进行了数据增强扩充了手语数据集。完整的连续手语视频包含起手动作、关键动作、过渡动作和结束动作,在识别的时候除关键动作外的其他动作会对识别精度照成影响,本文提出了基于关键帧的Seq2Seq手语模型,通过对手语视频提取关键帧,将关键帧的特征和手语视频的特征进行融合,降低其他动作对手语识别的影响。实验表明,加入关键帧后的识别精度比不加关键帧的识别精度有了显著提高。手语表达的关键是手和手臂的运动轨迹,目前的手语数据集都是拍摄手语演示者的正面,在提取视频特征时也是对某个时间点上人物的二维信息进行提取,忽略了三维立体人物特征。本文提取了基于四维卷积的Seq2Seq手语模型,基于自行拍摄的多角度手语数据集,对某个时间点上的人物三维立体特征进行提取。最终得到手语视频的特征。实验表明该算法在精度上比二维特征有较好的效果。

关键词：手语识别四维卷积 Seq2Seq模型关键帧

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的全局大脑功能网络时空模式的识别与研究

基于深度学习的全局大脑功能网络时空模式的识别与研究

引用

作者：严加栋电子科技大学

学位级别：硕士

复杂的大脑功能是由全局多个大脑功能网络之间的交互作用来实现的,其中每一个大脑功能网络具有特定的大脑空间分布,并对应特定的时间活动特性。基于功能磁共振(functional magnetic resonance imaging,fMRI)数据对全局大脑功能网络的时... 详细信息

复杂的大脑功能是由全局多个大脑功能网络之间的交互作用来实现的,其中每一个大脑功能网络具有特定的大脑空间分布,并对应特定的时间活动特性。基于功能磁共振(functional magnetic resonance imaging,fMRI)数据对全局大脑功能网络的时间和空间模式进行识别分析有助于深入理解大脑的功能运作机制。为了识别大脑功能网络的时空模式,研究者们最初使用以相关性分析为代表的基础方法,后来研究者们又提出使用以稀疏表达为代表的矩阵分解方法。相较于上述传统方法,近年来深度学习方法获得了较为理想的结果,但仍然存在两个主要缺陷:一是已有方法在时间和空间模式的识别过程中没有充分利用fMRI数据的时空特征且仅注重于单个模式(时间或空间)的识别;二是已有的深度学习方法侧重于识别单个大脑功能网络而非全局大脑功能网络。为了解决第一个缺陷,本研究首先提出了时空注意力四维卷积神经网络(STA-4DCNN)。该模型使用空间注意力四维卷积神经网络和时间引导注意力网络来分别识别大脑功能网络的空间和时间模式,一方面使用引导注意力机制解决了注重识别单个模式的问题,另一方面使用四维卷积技术进一步保证了 fMRI数据时空特征的充分利用。在此基础之上为了解决第二个缺陷,本研究提出了多头引导注意力图神经网络(Multi-Head GAGNN)。该模型使用空间多头注意力图U网络和时间多头引导注意力网络来分别识别全局大脑功能网络的空间和时间模式,不仅使用引导注意力机制和注意力图卷积以充分利用fMRI数据的时空特征,还使用分支网络结构保证了全局大脑功能网络的识别。本研究使用了 Human Connectome Project(HCP)和 Autism Brain Imaging Data Exchange I(ABIDE I)两个公开数据集的任务态和静息态fMRI数据验证了上述两个模型。实验结果表明这两个新方法相比已有方法具有更强的大脑功能网络时空模式识别能力和泛化性。本研究将上述大脑功能网络时空模式识别方法进一步应用于孤独症功能网络特性分析以及个体认知行为指标的预测。首先STA-4DCNN基于ABIDE I数据集成功识别出孤独症患者相较正常发育个体发生改变的大脑功能网络时空模式。其次Multi-Head GAGNN模型基于HCP数据集成功预测了正常个体的认知行为指标。本研究提出的两个新模型为个体化大脑功能网络时空模式的识别提供了有效方法,也为其在脑疾病诊断和大脑-认知行为的关联分析应用提供了新的思路。

关键词：大脑功能网络时空模式注意力机制四维卷积图卷积

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于光场图像的前景遮挡去除方法研究

基于光场图像的前景遮挡去除方法研究

引用

作者：李英杰中国科学技术大学

学位级别：硕士

去除前景遮挡任务是目前计算机视觉领域中一项非常十分重要的任务,是计算机视觉领域中很多常用任务的基础。例如如果能够高效的分离重建相互重叠的多个物体,那么检测识别任务的准确率将极大的提升,在自动驾驶任务中,也需要去除树木和马... 详细信息

去除前景遮挡任务是目前计算机视觉领域中一项非常十分重要的任务,是计算机视觉领域中很多常用任务的基础。例如如果能够高效的分离重建相互重叠的多个物体,那么检测识别任务的准确率将极大的提升,在自动驾驶任务中,也需要去除树木和马路隔离栏造成的遮挡,以便更好的识别远处的车辆、行人。分离重叠物体、去除前景遮挡能够有效提升很多广泛应用的计算机视觉任务的算法效果。因此,如何有效去除前景遮挡、重建清晰的背景图像成为了一个极为重要并且富有意义的研究内容。相比于单视图图像,光场图像包含丰富的视角信息,因此光场图像在去除前景遮挡任务上有着巨大的优势,但是由于光场图像为四维信息,传统图像处理方法以及现有的深度学习方法均难以充分利用光场图像中的信息。目前现有的光场图像去遮挡算法通常仅选择部分子孔径图像,或者只是简单地堆叠所有子孔径图像,以重建中心视图,这会破坏子孔径图像的空间布局。本文提出了两种简单有效的光场图像去遮挡算法,解决了上述光场图像难以处理的问题,使得光场图像能够得到更加充分有效的利用。本文主要贡献如下:1、提出使用四维卷积搭建神经网络来应对高维光场图像特征难以充分利用的问题。保留光场图像的全部子孔径图像并保持全部子孔径图像的空间布局,舍弃以往算法采用的的极平面思路,将光场图像构造为五维张量作为输入。通过采用四维卷积、反卷积设计网络,使得在神经网络中能够保持光场的四维空间结构。网络框架采用Autoencoder-decoder框架提取全局语义信息,并加入跳层链接以保留低层局部特征。2、添加遮挡掩膜识解码器分支,同时进行无遮挡中心子孔径图像预测和遮挡掩膜识别。避免直接使用预测得到的无遮挡中心子孔径图像重建结果,则会对图像中未被遮挡区域造成破坏,影响重建图像的清晰度与平滑度。本文使用两个解码器分支同时进行遮挡物对应的像素的标记和无遮挡图像的还原,最终输出为输入图像中未被遮挡部分和被遮挡部分的遮挡去除结果的合成。3、引入感知损失函数用以衡量去除遮挡结果与真实值Groundtruth之间的感知差异。传统的均方损失函数仅能够衡量两种图像像素之间的差异,无法衡量人类对两张图像感知差异,难以反映图像质量的好坏。而感知损失函数最早用于图像风格迁移,能够很好衡量图像之间的感知相似性。本文使用感知损失函数与均方误差损失函数共同评估恢复结果,并使用交叉熵损失函数用来评估遮挡遮罩预测的结果,获得了色彩更加准确丰富,过度更加平滑的重建结果。4、提出使用Transformer结构与传统卷积神经网络相融合构建网络,引入注意力机制来进一步应对高维光场图像特征难以充分利用的问题。本文将光场图像中全部子孔径图像沿颜色通道进行堆叠,采用二维卷积减少计算量。网络结构仍采用Autoencoder-decoder框架,在瓶颈处加入Bottleneck Transformers结构,加入MHSA层引入注意力机制。本文提出了两个光场图像去遮挡算法,使用了两种方法来更加充分利用光场图像中空间和角度信息,并且提出了共同进行无遮挡中心子孔径图像预测和遮挡掩膜识别、使用感知损失函数等光场图像去遮挡优化方法。通过消融实验的定量结果,证实了遮挡掩膜识别分支的有效性。实验采用公开的具有可移除遮挡物的光场图像进行训练和测试,两个算法在三个评价指标上均超越了目前最先进的光场图像去遮挡算法。实验结果表明,本文提出的两个算法均能有效光场图像中的信息,能够生成正确清晰的中心无遮挡子孔径图像重建结果。

关键词：光场四维卷积 Transformer 注意力机制去除遮挡

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：