检索结果-南通市图书馆

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于稀疏注意力的孪生网络目标跟踪算法

控制与决策 2024年第12期39卷 4017-4026页

作者：陈志旺杨天宇曹索航吕昌昊彭勇燕山大学智能控制系统与智能装备教育部工程研究中心燕山大学工业计算机控制工程河北省重点实验室燕山大学电力电子节能与传动控制河北省重点实验室燕山大学电气工程学院

利用改进的Inception-Resnet-V2 (IRV2)网络和局部-全局-局部(local-global-local, LGL)模块设计一种结合CNN和Transformer编码结构的孪生网络SiamLGL (siamese local-global-local network)用于目标跟踪.首先,算法特征提取部分采用改进后的IRV2网络,由于网络的层数更深,图片经过IRV2网络提取的特征较浅层网络提取的特征效果更优,特征融合部分采用深度互相关将特征图上的信息进行融合;其次,融合后的特征图利用LGL模块获取目标的全局和局部信息,模块内部采用两个编码器串联,第1个编码器利用深度可分离卷积获取目标的局部信息,第2个编码器利用自注意力获取图片的全局特征,为了降低自注意力结构的时间复杂度,采用稀疏注意力的方式进行计算,在降低时间复杂度的同时保证网络的精度;最后将特征图输入至分类回归网络中,生成对应的目标位置,其中分类网络采用二元交叉熵损失函数,回归网络采用Distance-IoU (DIoU)作为损失函数.算法在GOT-10k、LaSOT、TrackingNet、UAV123、OTB100和VOT2019等6个公开数据集上进行实验评估,结果验证了算法的有效性.

关键词：目标跟踪孪生网络 Inception-Resnet-V2网络稀疏注意力 Distance-IoU损失

在线全文

学校读者我要写书评

暂无评论

一种基于时空稀疏注意力的时空图挖掘算法

计算机工程 2023年第4期49卷 108-113页

作者：谢毅王强李海宏金诚任洪润薛雯熊贇复旦大学计算机科学技术学院上海市数据科学重点实验室上海200433 上海市气象灾害防御技术中心上海200030

当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构,这些静态的图结构往往依赖于主观先验知识构建,并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务,提出一种基于时空稀疏注意力的时... 详细信息

当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构,这些静态的图结构往往依赖于主观先验知识构建,并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务,提出一种基于时空稀疏注意力的时空图挖掘算法(STSAN)。构造空间稀疏注意力层,通过对每个时间片上节点间的关系进行度量生成稀疏图,并在各个稀疏图结构上使用注意力机制完成节点空间(纵向)特征的提取。时间稀疏注意力层通过类似的方式完成节点时序(横向)特征的提取。在此基础上,将空间稀疏注意力层和时间稀疏注意力层堆叠为时空稀疏Transformer模块,完成时空依赖关系建模。实验结果表明,与DCRNN、STGCN等方法相比,该算法在2个公开的交通数据集上能够获得2.65%~16.35%的性能提升,将所提出的空间稀疏注意力层直接用于替换现有算法的空间特征模块,能够在原算法基础上获得平均3.18%~9.14%的性能提升。

关键词：时空图稀疏注意力图结构时空依赖动态性

基于稀疏注意力和可变形融合的多源遥感图像分类方法

在线全文

学校读者我要写书评

暂无评论

北京航空航天大学学报 2024年

作者：刘晟金学鹏高峰甘言海中国海洋大学计算机科学与技术学院

在遥感图像应用中，利用多源图像的互补优势并探索其特征依赖关系是研究热点。传统基于Transformer的分类方法因计算全部特征间的自注意力，导致信息过载和无关特征干扰，影响模型效率。跨模态特征交互常采用简单拼接或相加，忽略模态... 详细信息

在遥感图像应用中，利用多源图像的互补优势并探索其特征依赖关系是研究热点。传统基于Transformer的分类方法因计算全部特征间的自注意力，导致信息过载和无关特征干扰，影响模型效率。跨模态特征交互常采用简单拼接或相加，忽略模态差异，限制了多源特征表达的一致性和有效性。为此本文设计了一种新颖的分类方法，该方法基于稀疏注意力和可变形特征交叉融合模块，用于处理多源遥感图像。该方法的特征提取模块利用稀疏注意力动态地选择和稀疏化权重，显著减少了无关信息的干扰。同时，构建了可变形交叉注意力融合模块整合多源图像特征，加强了跨模态特征的动态交互，深入挖掘了不同模态特征的相互作用和联系。在Berlin和Houston2018数据集上的实验结果显示，本文方法的整体分类准确率分别达到73.27%和92.94%，相较于现有的ExViT、AsyFFNet等主流方法显著提升了分类准确率，验证了本方法的有效性和优越性。

关键词：稀疏注意力多源特征融合高光谱图像(HSI) 合成孔径雷达(SAR) 激光雷达(LiDAR)

基于区域稀疏注意力网络的行人再辨识方法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于区域稀疏注意力网络的行人再辨识方法研究

作者：解盛广西师范大学

学位级别：硕士

行人再辨识可应用于刑探侦查、社会安保等领域。已有许多行人再辨识方法被提出,主要分为两大类:基于人工设计特征的行人再辨识方法和基于深度学习的行人再辨识方法。早期行人再辨识一般采用基于人工设计特征的方法,其算法理论性强且计... 详细信息

行人再辨识可应用于刑探侦查、社会安保等领域。已有许多行人再辨识方法被提出,主要分为两大类:基于人工设计特征的行人再辨识方法和基于深度学习的行人再辨识方法。早期行人再辨识一般采用基于人工设计特征的方法,其算法理论性强且计算量小,但由于此类特征需由人工设计,因此成本较高且易忽略行人特征。近年来深度学习方法的快速发展,为行人再辨识的应用提供了新的契机。将深度学习与行人再辨识结合,在免去大量人工成本的同时,可以使机器自动地去学习和优化行人特征,从而提高行人再辨识算法的性能。但由于行人照片的分辨率较低,且进行深度学习时,特征图尺寸不断变小的过程中会损失大量可用信息。鉴于人工设计特征与深度学习在行人再辨识已经取得的瞩目成绩,本文融合上述两个研究方向,提出了可用于行人再辨识的区域稀疏注意力网络,该网络通过采用随机区域批量遮挡的数据增强方法,以及嵌入了稀疏注意力机制这两种算法,可以有效避免卷积过程中必要的信息损失,主要方法如下:1)嵌入稀疏注意力的压缩激活网络。该网络是由压缩激活网络改进而来。首先将压缩激活网络中的压缩激活模块提取出来,对其进行归一化处理,由此生成注意力模块:归一化的压缩激活模块;然后将4个归一化的压缩激活模块分别应用到残差网络的5个卷积层之间;最后在5个卷积层之间再加入4条短连接,构建成嵌入稀疏注意力的压缩激活网络。实验表明,相对于压缩激活网络,本文提出的方法在行人再辨识数据集Market-1501上的Rank-1和mAP分别提高了4.2%和4.4%。2)采用随机区域批量遮挡的数据增强方法。该方法首先将一个训练批次的行人照片水平均匀分割为6个区域;然后将6个区域中的2个区域随机遮挡住,使得神经网络只需处理剩余的4个区域;最后对这4个区域进行全局最大池化处理后并进行分类。实验表明,相对于压缩激活网络,本文提出的方法在Market-1501上的rank-1和mAP分别提高了5.1%和7.8%。在多个行人再辨识数据集上的测试结果表明,嵌入稀疏注意力的压缩激活网络具有良好的特征提取能力,而批量地对行人图片进行随机区域遮挡也使得网络具备了关注微小特征的能力。这两种方法的结合在解决目标行人较小、行人背景复杂和不同行人相似的问题时,取得了较好的效果。

关键词：行人再辨识稀疏注意力随机区域遮挡批量归一化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于稀疏注意力的自适应图池化方法

杭州电子科技大学学报（自然科学版） 2021年第5期41卷 32-38页

作者：朱小草郭春生张宏宽金昊炫杭州电子科技大学通信工程学院浙江杭州310018 数源科技股份有限公司浙江杭州310012 浙江农业科学院浙江杭州310021

针对图神经网络池化中不能充分保留图的局部特征的问题,提出一种基于稀疏注意力自适应图池化方法。首先,运用稀疏注意力自适应地选择相似度高的节点形成集群;然后,运用局部聚合卷积,通过节点聚合形成集群表示,选取集群表示最大的topk个... 详细信息

针对图神经网络池化中不能充分保留图的局部特征的问题,提出一种基于稀疏注意力自适应图池化方法。首先,运用稀疏注意力自适应地选择相似度高的节点形成集群;然后,运用局部聚合卷积,通过节点聚合形成集群表示,选取集群表示最大的topk个节点完成采样;最后,在池化时保留图的局部特征以降低信息损失,从而提高图分类的性能。实验结果表明,与传统图池化方法相比,提出方法的分类正确率有所提升。

关键词：图池化稀疏注意力自适应处理

在线全文

学校读者我要写书评

暂无评论

基于稀疏注意力机制的城轨车辆轴温预测模型

科技与创新 2021年第3期 1-4页

作者：张恒志蒋雨良中车青岛四方机车车辆股份有限公司山东青岛266109 西南交通大学机械工程学院四川成都610031

列车运行时走行部的安全至关重要,车载系统采集走行部信息呈现多维时间序列长度,时间序列往往因为过长导致时序模型难以记忆,反而使得模型精度降低。为此,提出一种基于稀疏注意力机制的城轨车辆轴温预测模型。首先建立稀疏注意力的时间... 详细信息

列车运行时走行部的安全至关重要,车载系统采集走行部信息呈现多维时间序列长度,时间序列往往因为过长导致时序模型难以记忆,反而使得模型精度降低。为此,提出一种基于稀疏注意力机制的城轨车辆轴温预测模型。首先建立稀疏注意力的时间序列模型,在线下进行模型训练,并基于微调的方式将一个轴承的温度预测模型逐个迁移到所有轴承上;线下训练完成后对在线数据进行预测,并检测温度是否异常,确认异常轴承的位置进行停车检查、修复故障。实验结果表明,稀疏注意力机制相比于RNN、LSTM等传统时间序列网络能够处理更长的时间序列,对轴承温度的预测具有更高的精度。

关键词：城轨车辆轴承温度时间序列稀疏注意力

在线全文

学校读者我要写书评

暂无评论

频率引导的双稀疏自注意力单图像去雨算法

电子学报 2023年第10期51卷 2812-2820页

作者：文渊博高涛陈婷张千禧长安大学信息工程学院陕西西安710064

现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen⁃cy-guided Dual Sparse self-At... 详细信息

现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen⁃cy-guided Dual Sparse self-Attention TransFormer,FDSATFormer).首先,该算法利用空间稀疏因子和通道降维因子在提取准确全局信息的同时减少计算量,进而提出双稀疏自注意力特征学习网络(Dual Sparse self-attention Feature Leran⁃ing,DSFL)以解决Transformer在高分辨率雨图上难以表征自注意力的问题.其次,该算法通过探究图像去雨前后的频谱变化,提出频率引导的特征增强模块(Frequency-guided Feature Enhancer,FFE),其利用频域的全局信息指导特征编码阶段对空域特征的学习.此外,现有去雨网络的编解码结构采用相近的设计,这导致网络的整体计算负担倍增.对此,本文提出层级特征解码重建网络(Hierarchical Feature Decoding and Reconstructing network,HFDR),其利用无参的空间邻域移位操作(Spatial Neighborhood Shift,SNS)构建特征解码网络,在取得良好效果的同时进一步减少整体的计算负担.实验表明,相比表现优秀的Uformer和Restormer,本文算法所得结果的平均峰值信噪比分别提升3.13 dB和0.12 dB,平均结构相似性分别提升1.39%和1.07%.

关键词：计算机视觉图像去雨自注意力网络稀疏注意力空间移位频率引导学习

同方期刊数据库

基于注意力增强的点阵Transformer的中文命名实体识别方法

在线全文

学校读者我要写书评

暂无评论

厦门大学学报（自然科学版） 2022年第6期61卷 1062-1071页

作者：韩晓凯岳颀褚晶史伟亮韩展西安邮电大学自动化学院陕西西安710121

对于中文命名实体识别任务,一种非常有效的方法是创建能结合字与词语信息的点阵,利用词语语义信息的同时减少分词错误带来的影响.然而点阵在通过词典匹配句子中潜在词语的过程中,也会引入相关性低的信息以及噪声,导致基于注意力机制的Tr... 详细信息

对于中文命名实体识别任务,一种非常有效的方法是创建能结合字与词语信息的点阵,利用词语语义信息的同时减少分词错误带来的影响.然而点阵在通过词典匹配句子中潜在词语的过程中,也会引入相关性低的信息以及噪声,导致基于注意力机制的Transformer出现注意力分散的情况,而且引入词语信息也会降低模型对句子语义的关注.为解决这些问题,提出了一种新的注意力增强模型,命名为注意力增强的点阵Transformer(attention-enhanced lattice Transformer,AELT).AELT对注意力进行了稀疏处理,使模型只关注相关性最高的内容,能够有效减少上下文中的噪声干扰,同时并行添加了专用于对语句进行语义分析的Transformer,使模型重点关注语句本身,并将词语信息作为辅助信息完成实体识别任务.实验结果表明:AELT在Weibo、Resume、Ontonotes和MSRA这些主流数据集上有着不错的性能表现.

关键词： Transformer 点阵稀疏注意力注意力增强中文命名实体识别

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

结合多尺度多注意力的遥感图像超分辨率重构

中南民族大学学报（自然科学版） 2024年第5期43卷 692-700页

作者：熊承义郑瑞华高志荣何缘完颜静萱中南民族大学电子信息工程学院武汉430074 中南民族大学智能无线通信湖北省重点实验室武汉430074 中南民族大学计算机科学学院武汉430074

视觉Transformer在改进图像超分辨率性能方面展现了良好的潜能.然而,遥感图像中不同目标表现的尺度多样性限制了其超分辨率的图像质量.为此,研究了一种结合多尺度多注意力的Transformer遥感图像超分辨率网络,旨在增强其特征学习能力,从... 详细信息

视觉Transformer在改进图像超分辨率性能方面展现了良好的潜能.然而,遥感图像中不同目标表现的尺度多样性限制了其超分辨率的图像质量.为此,研究了一种结合多尺度多注意力的Transformer遥感图像超分辨率网络,旨在增强其特征学习能力,从而有效提升遥感图像的超分辨率性能.具体来说,输入特征首先通过多级下采样,得到多个尺度的特征;然后,逐级将低维特征通过一种交替密集注意力与稀疏注意力的Transformer网络进行变换,并将输出结果升维后与高维特征融合.密集注意力与稀疏注意力的结合可同时兼顾对局部相关性和全局相关性的有效提取,而多通路多尺度变换能够增强对图像小目标的建模能力.基于两个开源的遥感数据集的大量实验结果,验证了该方法的有效性.

关键词：视觉Transformer 遥感图像超分辨率多尺度密集注意力稀疏注意力