检索结果-南通市图书馆

基于多方向自适应感知网络的高光谱遥感图像分类

在线全文

学校读者我要写书评

暂无评论

遥感学报 2024年第1期28卷 168-186页

作者：刘倩吴泽彬徐洋郑鹏郑尚东韦志辉南京理工大学计算机科学与工程学院南京210014

高光谱遥感能够同步获取目标场景的光谱数据和空间图像,满足对目标物体成分组成和形貌特征的探测需求,已被广泛应用于精准农业、地质勘察、环境监测和生物医学等领域。近几年,得益于优秀的空谱信息表征能力,基于卷积神经网络的高光谱图... 详细信息

高光谱遥感能够同步获取目标场景的光谱数据和空间图像,满足对目标物体成分组成和形貌特征的探测需求,已被广泛应用于精准农业、地质勘察、环境监测和生物医学等领域。近几年,得益于优秀的空谱信息表征能力,基于卷积神经网络的高光谱图像分类方法取得了优于传统方法的分类精度。然而,基于一定规则和固定方形窗口的卷积运算无法满足不同对象、不同分布的空谱特征提取需求,当像素位于类别边缘时该模式无法避免其他类别的无关信息,导致类别间的信息扩散以及跨类别像素的误分和错分。针对上述问题,本文提出了一种基于多方向自适应感知的高光谱图像空谱联合分类方法,并通过联合不同邻域范围的空谱上下文信息来改善模型的局部空谱建模能力。具体研究过程如下:首先,将常规卷积网络的全窗口滤波器拆分为不同方向的半窗滤波器,从而设计出侧窗卷积以捕捉具有方向性的空谱特征;然后,在此基础上进一步将不同方向的侧窗滤波核整合到统一的卷积架构中构造空谱分离多方向卷积,并设计方向自适应感知模块,以密集连接构建基于高光谱图像的多方向自适应感知分类网络,赋予模型自适应学习多种空谱结构特征的能力,弥补常规卷积和侧窗卷积只能建模单一方向空谱关系的不足,提升模型对复杂空谱结构的刻画能力。在3个公开数据集上的实验结果表明,本文提出的多方向自适应感知分类方法较常规卷积方法具有更优的分类性能,能增强边缘样本的表征准确性,改善分类中的边缘混淆现象。

关键词：遥感高光谱图像深度学习多方向自适应感知空谱结构建模空谱联合分类

基于双参考帧的多源着色结果融合的视频着色方法

在线全文

学校读者我要写书评

暂无评论

东南大学学报（自然科学版） 2024年第1期54卷 183-191页

作者：孟桦唐金辉代龙泉南京理工大学计算机科学与工程学院南京210094

对黑白视频着色时,为了更好地利用参考帧信息,提出一种基于双参考帧的多源着色结果融合的着色方法.首先,采用硬注意力融合子模块融合双参考帧提供的颜色信息,以防止双帧语义匹配模块着色时不合理参考信息导致的颜色模糊问题.然后,使用... 详细信息

对黑白视频着色时,为了更好地利用参考帧信息,提出一种基于双参考帧的多源着色结果融合的着色方法.首先,采用硬注意力融合子模块融合双参考帧提供的颜色信息,以防止双帧语义匹配模块着色时不合理参考信息导致的颜色模糊问题.然后,使用多源着色结果融合模块融合通过双帧光流传播模块、双帧语义匹配模块以及遮挡信息得到的着色结果,进而产生更优质的着色结果.实验结果表明,该方法在Davis30测试集上的峰值信噪比(PSNR)、结构相似性(SSIM)和颜色分布一致性指数(CDC)分别为37.36 dB、0.980 5、0.003 748,说明该方法能够通过多种融合方式充分利用双参考帧的信息为灰度帧着色,并生成美观且具有较好时间一致性的着色结果.

关键词：融合双参考帧视频着色遮挡

基于帧内关系建模和自注意力融合的多目标跟踪方法

在线全文

学校读者我要写书评

暂无评论

控制与决策 2023年第2期38卷 335-344页

作者：朱姝姝王欢严慧南京理工大学计算机科学与工程学院南京210094

多目标跟踪在视频监控领域有重要的应用价值.随着卷积神经网络(convolutional neural networks, CNN),尤其是图神经网络(graph neural networks, GNN)的发展,多目标跟踪的研究现阶段取得了很大突破.其中,图神经网络由于引入目标-轨迹间... 详细信息

多目标跟踪在视频监控领域有重要的应用价值.随着卷积神经网络(convolutional neural networks, CNN),尤其是图神经网络(graph neural networks, GNN)的发展,多目标跟踪的研究现阶段取得了很大突破.其中,图神经网络由于引入目标-轨迹间的关系建模,显示出更稳定的跟踪性能.然而,已有的基于GNN的多目标跟踪方法都仅在连续两帧之间建立全局关系模型,忽视了帧内目标与周围其他目标的交互,没有考虑在帧内建立合适的局部关系模型.为了解决该问题,提出基于帧内关系建模和自注意力融合模型(INAF-GNN)的多目标跟踪方法.在帧内, INAF-GNN建立目标与邻居目标的关系图模型以获取局部跟踪特征;在帧间, INAF-GNN建立目标与轨迹关系图模型以获得全局跟踪特征,并利用注意力机制设计一个特征融合模块整合局部和全局跟踪特征.在MotChallenge行人标准数据集上进行大量的实验,与多个基于图神经网络的多目标跟踪方法相比较,结果显示, MOTA指标提高1.9%, IDF1指标提高3.6%.同时,在UA-DETRAC车辆数据集上的验证测试表明了所提出方法的有效性和泛化能力.

关键词：多目标跟踪图神经网络数据关联帧内目标关系建模

在线全文

学校读者我要写书评

暂无评论

基于知识蒸馏的跨模态哈希

中国科学：技术科学 2022年第5期52卷 713-726页

作者：王锦荟金露李泽超唐金辉南京理工大学计算机科学与工程学院南京210094

由于计算和存储的高效性,哈希被广泛地用于大规模跨模态检索.现有跨模态哈希方法分别对单模态数据生成哈希码,忽略了模态内和模态间的上下文信息,无法充分挖掘多媒体数据的潜在关联信息.为此,本文提出一种基于知识蒸馏的跨模态哈希方法... 详细信息

由于计算和存储的高效性,哈希被广泛地用于大规模跨模态检索.现有跨模态哈希方法分别对单模态数据生成哈希码,忽略了模态内和模态间的上下文信息,无法充分挖掘多媒体数据的潜在关联信息.为此,本文提出一种基于知识蒸馏的跨模态哈希方法.该方法首先利用基于Transformer的教师网络从图像和文本数据中捕获模态内和模态间的上下文信息,进而得到包含丰富视觉-语义关联信息的联合表示,并将联合表示投影到低维的汉明空间以得到判别性较高的二值哈希码.此外,该方法利用知识蒸馏技术将教师网络学到的多模态数据潜在关联信息迁移到学生网络,从而让学生网络生成的哈希码最大程度保留多模态关联信息.该方法在MIRFLICKR-25K,NUS-WIDE和MS-COCO数据集上进行验证,实验结果表明该方法的跨模态检索性能优于目前的主流方法.

关键词：哈希跨模态检索知识蒸馏 Transformer

在线全文

学校读者我要写书评

暂无评论

深度多模态表示学习的研究综述

计算机工程与应用 2023年第2期59卷 48-64页

作者：潘梦竹李千目邱天南京理工大学计算机科学与工程学院南京210094

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习... 详细信息

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。

关键词：多模态表示深度学习多模态融合多模态对齐

基于解耦图神经网络的可解释标签感知推荐算法

在线全文

学校读者我要写书评

暂无评论

软件学报 2023年第12期34卷 5670-5685页

作者：杜晓宇陈正项欣光南京理工大学计算机科学与工程学院江苏南京210094

标签感知推荐算法利用标签标注数据提升推荐模型对用户偏好和项目属性的理解,受到业界的广泛关注.但是,现有方法常忽视了用户关注点、项目属性和标签含义的多样性,干扰了三者关系推断,从而影响推荐结果.因此,提出一种基于解耦图神经网... 详细信息

标签感知推荐算法利用标签标注数据提升推荐模型对用户偏好和项目属性的理解,受到业界的广泛关注.但是,现有方法常忽视了用户关注点、项目属性和标签含义的多样性,干扰了三者关系推断,从而影响推荐结果.因此,提出一种基于解耦图神经网络的可解释标签感知推荐算法(DETRec),解构用户、项目和标签的关注角度,并由此形成可解释的推荐依据.具体来讲,DETRec构造关系图以建模用户、项目和标签的关系;通过邻域路由机制和消息传播机制,分离结点形成属性子图,以描述不同属性下的结点关系;最终根据属性子图形成推荐依据.实现了两种DETRec实例:单图实例(DETRec-S)在单个关系图中描述全部结点关系;多图实例(DETRec-M)使用3个二分图分别描述用户-项目、项目-标签、用户-标签关系.在3个公开数据集上进行的大量实验表明,DETRec的两种实例均明显优于标签感知推荐的基准模型,也为推荐结果生成了对应的推荐依据,是有效的可解释标签感知推荐算法.

关键词：多媒体推荐标签感知推荐可解释推荐特征解耦图神经网络

基于多模态多粒度图卷积网络的老年人日常行为识别

在线全文

学校读者我要写书评

暂无评论

软件学报 2023年第5期34卷 2350-2364页

作者：丁静舒祥波黄捧姚亚洲宋砚南京理工大学计算机科学与工程学院江苏南京210094

随着人口老龄化问题日益严重,人们对家庭环境中老年人的安全问题越来越重视.目前,国内外一些研究机构正在试图研究通过家用摄像头对老年人的日常行为进行智能化看护,实现对一些危险行为的预警、报警与报备.为了助推这些技术的产业化,主... 详细信息

随着人口老龄化问题日益严重,人们对家庭环境中老年人的安全问题越来越重视.目前,国内外一些研究机构正在试图研究通过家用摄像头对老年人的日常行为进行智能化看护,实现对一些危险行为的预警、报警与报备.为了助推这些技术的产业化,主要研究如何自动识别出老年人的日常行为,如“喝水”“洗手”“读书”“看报”等.通过对老年人的日常行为视频的调研发现,老年人的日常行为语义具有非常明显的细粒度特性,如“喝水”与“吃药”两种行为的语义高度相似,且只有少量的关键帧能准确体现出其类别语义.为了有效解决老年人行为识别问题,提出一种新的多模态多粒度图卷积网络(multimodal and multi-granularity graph convolutional networks,MM-GCN),通过利用图卷积网络分别从人体骨骼点(“点”)和人体骨架(“线”)、关键帧(“面”)和视频提名段(“段”)两种模态对老年人行为进行建模,捕捉“点-线-面-段”这4种颗粒度对象下的语义信息.最后,在目前最大规模的老年人日常行为数据集ETRI-Activity3D(11万+视频段、50+行为类别)上进行老年人行为识别性能评测,相比于当前最好的方法,提出的MM-GCN方法取得了最高的识别性能.此外,为了验证MM-GCN方法对常规人体行为识别任务的鲁棒性能,在业界标准的NTU RGB+D数据集上进行实验,MM-GCN方法也表现出了很不错的性能.

关键词：老年人行为识别图卷积网络多模态多粒度

在线全文

学校读者我要写书评

暂无评论

基于图神经网络的高光谱图像分类研究进展

电子学报 2023年第6期51卷 1687-1709页

作者：万升杨健宫辰南京理工大学计算机科学与工程学院江苏南京210014

高光谱成像是遥感领域的一项先进技术,它能够收集和处理来自不同波段的电磁光谱信息,包括可见光、近红外和红外波段.由于高光谱成像技术能够检测到光谱信息的细微变化,因此,其在区分不同类型的地物方面取得了不错的成果.近年来,高光谱... 详细信息

高光谱成像是遥感领域的一项先进技术,它能够收集和处理来自不同波段的电磁光谱信息,包括可见光、近红外和红外波段.由于高光谱成像技术能够检测到光谱信息的细微变化,因此,其在区分不同类型的地物方面取得了不错的成果.近年来,高光谱图像分类在城市规划和植被监测等应用中引起了许多研究者的关注,其主要目的是将图像中的每个像素分类到一个有意义的类别中.然而,高光谱图像数据量大、特征维数高的问题给像素的精确分类带来了一定挑战.如何有效提取高光谱图像的空谱特征已成为高光谱图像分类中最重要的问题之一.在过去的几年里,深度学习技术依靠强大的特征提取能力,在高光谱图像分类中具有不错的表现.其中,基于图神经网络(Graph Neural Network,GNN)的方法凭借其处理不规则数据的出色能力,为高光谱图像分类提供了新的研究方向.图神经网络是一种能够直接处理图结构数据的深度学习模型.在图神经网络模型中,每个图节点表示一个样本,每条边表示一对样本之间的关系.图卷积操作通过在图节点之间传播信息,来学习图节点的表征,从而模型能够捕捉到图节点之间的复杂关系,并实施诸如节点分类和链接预测的任务.通过将高光谱图像转换为图结构,图神经网络能够在卷积过程中提取图像的空谱特征.其中,每个节点对应于一个像素或区域,像素或区域之间的关系被表示为边.本文从图神经网络的构图方式、图卷积类型、模型架构和优化策略4个角度,梳理了当前基于图神经网络的高光谱图像分类方法的研究内容和进展,并为该领域的技术研究提供了多层次的对比分析.在基于图神经网络的高光谱图像分类方法中,图结构的构建是一项非常重要的任务.目前,主要存在两种基于高光谱数据的建图方法,即基于像素和基于区域的方法 .在基于像素的建图方法中,每个像素都被视为一个图节点,这也是构建图结构最直接的方法.其中,每对图节点之间的权重可以由网络预先计算或学习.考虑到基于像素的建图方法复杂度较高,研究者开发了基于区域的建图方法 .此类方法将图像的区域作为图节点,目前已被广泛应用于高光谱图像分类方法中.基于区域的建图方法可以有效减小图结构的尺寸,从而实现高效的图卷积运算.此外,图卷积类型的选择也是基于图神经网络的高光谱图像分类中的一个重要问题.当前的图卷积操作主要包含两种类型,即基于谱域的图卷积和基于空间域的图卷积.基于谱域的图卷积从图信号处理的角度引入了滤波器,通常具备较为坚实的数学基础,并且在高光谱图像分类中得到了较为广泛的使用.与基于谱域的方法不同,基于空间域的图卷积利用加权平均函数直接对每个图节点的邻居进行卷积.因此,基于空间域的图卷积通常表现出更强的灵活性和泛化能力.同时,模型架构的选择在基于图神经网络的高光谱图像分类中同样关键.目前主要存在两种类型的模型架构,即单一型和混合型.基于单一型架构的方法仅使用单一类型的深度模型(即图神经网络),早期的基于图神经网络的高光谱图像分类方法大多采用这一架构.然而,图神经网络模型本身存在一些固有的缺陷,这一定程度上限制了单一型架构方法在高光谱图像分类任务中的表现.为了缓解图神经网络模型的固有缺陷,进一步提高算法在高光谱图像分类任务中的性能,研究者开始探索将图神经网络与其他深度模型相融合的混合型模型架构,从而能够利用不同子模型来捕捉高光谱图像中多种类型的空谱特征.模型优化策略的选择对于算法性能也有着显著的影响.目前主要存在两种模型优化策略,即全批量梯度下降和小批量梯度下降.全批量梯度下降法会遍历所有样本计算一次损失函数,然后根据各个参数对应的梯度来更新模型参数,这种优化策略通常用于基于谱域的图神经网络模型.然而,由于每一次的参数更新都会涉及所有样本,因此全批量梯度下降法的复杂度通常较高,尤其是像素或超像素数量较多时.为了提高训练效率,研究者提出使用小批量梯度下降进行模型优化.其中,损失可以根据每个子图计算得到.由于每个子图的规模比原始图结构小得多,因此小批量梯度下降策略通常具有很高的效率.尽管图神经网络模型已经在高光谱图像分类任务中取得了一定成果,但现有方法仍存在一些问题有待改进.例如自适应邻域构建,即邻域的大小和形状可以根据图像的不同区域变化.现有的基于图神经网络的方法通常假设邻域大小和形状是固定不变的,而这一假设对于图像的所有区域而言可能并非最优.此外,另一个问题是可伸缩性和准确性之间的权衡.图神经网络在获得可伸缩性的同时,无可避免地会对原始数据的完整性造成损伤.然而,保持数据的完整性对模型学习是至关重要的.因此,越来越多学者开始研究能够同时保证可扩展性和高分类精度的图神经网络方法 .同时,由于高光谱图像可能包含各种类型的噪声,因此噪声的处理亦是一个值得关注的问题.大部分现有的图神经网络方法对噪声不具有鲁棒性,这更加凸显了开发噪声鲁棒图神经网络方法的必要性.总的来讲,由于基于图神经网络的方法能够有效提取高光谱图像中的空谱特征,其在高光谱图像分类领域展现了巨大的潜能.本文从不同角度回顾并

关键词：高光谱图像分类图神经网络图机器学习半监督学习深度学习

在线全文

学校读者我要写书评

暂无评论

基于特征约束蒸馏学习的视觉异常检测

软件学报 2023年第9期34卷 4378-4391页

作者：邢鹏蒋鑫潘永华唐金辉李泽超南京理工大学计算机科学与工程学院江苏南京210094

针对视觉异常检测任务,提出一种基于特征约束的蒸馏学习方法,充分利用教师网络模型的特征来指导学生模型高效的识别异常图像.具体地,引入vision transformer (ViT)作为异常检测任务的主干网络,并提出中心特征策略约束学生网络的输出特征... 详细信息

针对视觉异常检测任务,提出一种基于特征约束的蒸馏学习方法,充分利用教师网络模型的特征来指导学生模型高效的识别异常图像.具体地,引入vision transformer (ViT)作为异常检测任务的主干网络,并提出中心特征策略约束学生网络的输出特征.由于教师网络的特征表达能力较强,特征中心策略从教师网络中动态地为学生网络生成正常样本的特征表示中心,从而提升学生网络对正常数据特征输出的描述能力,进而扩大了学生网络和教师网络对于异常数据的特征差异;另一方面,为了最小化学生网络和教师网络在正常图像特征表示上的差异,引入格拉姆(Gram)损失函数对学生网络编码层之间的关系进行约束.在3个异常检测通用数据集和1个真实工业异常检测数据集上进行了实验验证,相比当前最优方法,所提方法取得了显著的性能提升.

关键词：异常检测特征蒸馏异常评分中心分布一致性约束