检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

多头注意力机制的全频图像去噪算法

计算机工程与应用 2024年第16期60卷 236-247页

作者：江结林史明月杨海东崔燕南京信息工程大学软件学院南京210044 江苏省先进计算与智能服务工程研究中心南京210044 内蒙古工业大学信息工程学院呼和浩特026208 南京特殊教育师范学院数学与信息科学学院南京210038

近年来,深度卷积神经网络(convolutional neural network,CNN)在图像去噪领域取得了显著成果。然而,现有的大部分去噪方法都是将噪声图像直接输入CNN模型训练,依赖于裁剪大量的图像训练块,重复裁剪的区域不仅浪费计算资源,还限制了特征... 详细信息

近年来,深度卷积神经网络(convolutional neural network,CNN)在图像去噪领域取得了显著成果。然而,现有的大部分去噪方法都是将噪声图像直接输入CNN模型训练,依赖于裁剪大量的图像训练块,重复裁剪的区域不仅浪费计算资源,还限制了特征提取的多样性,导致图像纹理细节的丢失。为解决这些问题,提出一种适用于去除加性高斯白噪声和真实图像噪声的全频增强多头注意力去噪网络。该方法将噪声图像分解为低频和高频分量,并与噪声图像一起输入网络进行训练,通过增加网络宽度来提取更丰富的图像特征。特征增强多头注意力机制关注图像级别的特征,能够保留更多的纹理细节。为了得到干净噪声映射,还设计了噪声学习模块来去除冗余特征并优化图像的残差特征。在Set12、CBSD68等多个数据集上验证了所提出方法的有效性。实验结果显示,该方法在灰度噪声图像去噪、彩色噪声图像去噪以及真实图像去噪方面均优于ADNet、AMDNet、MWDCNN等主流去噪方法,而且使用该方法去噪后的图像具有更清晰的视觉效果。

关键词：图像去噪高斯噪声多头注意力残差学习频率分解

在线全文

学校读者我要写书评

暂无评论

基于多头注意力胶囊网络的文本分类模型

清华大学学报（自然科学版） 2020年第5期60卷 415-421页

作者：贾旭东王莉太原理工大学大数据学院太原030024

文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多... 详细信息

文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多头注意力的胶囊网络模型,该模型能编码单词间的依赖关系、捕获文本中重要单词,并对文本语义编码,从而有效提高了文本分类任务的效果。结果表明:该文模型在文本分类任务中效果明显优于卷积神经网络和胶囊网络,在多标签文本分类任务上效果更优,能更好地从注意力中获益。

关键词：胶囊网络多头注意力自然语言处理文本分类

在线全文

学校读者我要写书评

暂无评论

融合多头注意力机制的货车载重估计模型

吉林大学学报（工学版） 2024年第10期54卷 2771-2780页

作者：顾明臣熊慧媛刘增军罗清玉刘宏交通运输部规划研究院北京100028 综合交通规划数字化实验室北京100028 吉林大学交通学院长春130022

为了提高实时货车载重估计的便捷性和精准度,辅助开展大范围低等级公路网的货车运输过程中载重的实时监管,本文从货车动静态信息的交互效应出发,提出了一种融合多头注意力机制的货车载重估计模型(Mix-MAN)。首先,在模型中引入了多头注... 详细信息

为了提高实时货车载重估计的便捷性和精准度,辅助开展大范围低等级公路网的货车运输过程中载重的实时监管,本文从货车动静态信息的交互效应出发,提出了一种融合多头注意力机制的货车载重估计模型(Mix-MAN)。首先,在模型中引入了多头注意力机制,增强网络对运动学时序特征的提取能力;其次,利用堆叠自编码器捕获货车的静态特征;最后,设计了一种特征融合结构,融合提取动态特征和静态特征,建立输入特征与货车载重之间的非线性映射关系,得到货车载重估计结果。试验结果表明:与未考虑货车静态信息的MAN模型对比,Mix-MAN的平均绝对值误差减小了6%,均方根误差减小了5%,平均绝对百分比误差减小了0.5%。本文模型可为我国公路货物运输监管、道路养护等方面提供技术支持。

关键词：交通运输系统工程载重估计多头注意力特征融合堆叠自编码器

基于多头注意力的CNN-LSTM的换道意图预测

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

机械工程学报 2022年第22期58卷 369-378页

作者：高凯李勋豪胡林陈彬杜荣华长沙理工大学汽车与机械工程学院长沙410114 长沙理工大学智能道路与车路协同湖南省重点试验室长沙410114

自动驾驶车辆与传统车辆混行的交通环境中,车辆的换道意图预测能够为自动驾驶车辆安全行驶提供有效保证。为了更准确地预测车辆的换道意图,将多头注意力与卷积神经网络(Convolution neural network, CNN)和长短时记忆(Long-short term m... 详细信息

自动驾驶车辆与传统车辆混行的交通环境中,车辆的换道意图预测能够为自动驾驶车辆安全行驶提供有效保证。为了更准确地预测车辆的换道意图,将多头注意力与卷积神经网络(Convolution neural network, CNN)和长短时记忆(Long-short term memory, LSTM)网络结合,提出一种新型车辆换道意图预测算法。首先对NGSIM(Next generation Simulaion)数据集进行处理,提取车辆横向位置信息和周围环境信息。然后输入基于多头注意力(Multi-headattention)的CNN-LSTM模型,提高对输入序列特征的提取能力和预测精度。最后在NGSIM数据集验证该模型的有效性。试验结果表明,该模型能够从大量数据中提取到重要特征,同时通过特征对比试验发现,横向位置信息作为预测的主要特征,而周围环境信息作为预测的辅助特征。最后通过模型的对比试验得出,该模型的换道意图预测准确率在换道前1 s、2 s、3 s相比于LSTM、CNN、CNN-LSTM模型具有更好的预测精度,可以为自动驾驶汽车设计先进的意图预测算法提供帮助和参考。

关键词：自动驾驶换道意图卷积神经网络长短期记忆网络多头注意力

基于多头注意力对抗机制的复杂场景行人轨迹预测

在线全文

学校读者我要写书评

暂无评论

计算机学报 2022年第6期45卷 1133-1146页

作者：余力李慧媛焦晨璐冷友方徐冠宇中国人民大学信息学院北京100872 北京理工大学信息与电子学院北京100081

行人轨迹预测对智慧城市建设、公共危机管理具有重要意义.复杂场景中的行人轨迹不仅包含行人个体运动时序性特征,还包含行人与周围其他运动实体之间的交互性特征.如何根据场景变化,对这种时序性和交互性特征进行深度刻画并进行轨迹预测... 详细信息

行人轨迹预测对智慧城市建设、公共危机管理具有重要意义.复杂场景中的行人轨迹不仅包含行人个体运动时序性特征,还包含行人与周围其他运动实体之间的交互性特征.如何根据场景变化,对这种时序性和交互性特征进行深度刻画并进行轨迹预测,是复杂场景行人轨迹预测的关键问题.本文采用多头注意力机制和对抗生成方法,提出一种基于多头注意力机制的生成对抗网络模型(Multi-head Attention Generative Adversarial Model,MAGAM),对复杂场景下多行人轨迹进行建模.论文首先通过多头注意力机制融合行人的相对位移信息,从不同方面学习轨迹特征空间中各子空间特征的权重信息,实现对行人之间相互影响的交互性轨迹特征刻画;然后采用对抗生成机制和多轨迹生成策略,实现对复杂场景下不同个体移动轨迹的生成与预测.最后,本文在两个公开的数据集(ETH和UCY)进行了实验验证.实验结果表明,在ADE、FDE和AnlDE三个指标上,本文提出的MAGAM模型比基准模型误差平均降低了26.90%、21.02%和24.06%.本文对模型的预测结果进行可视化分析,直观展示了本论文模型的合理性.

关键词：复杂场景轨迹预测多头注意力位置编码对抗生成

基于改进多头注意力机制的专利文本摘要生成研究

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2023年第6期7卷 61-72页

作者：施国良周抒王云峰施春江刘亮河海大学商学院南京211100 江苏银行南京211006

【目的】解决专利文本摘要生成中专利文本输入结构单一导致的摘要生成单一偏向性问题,以及摘要生成整体上的重复生成、不够简洁流畅、原始信息丢失等问题,提升专利文本摘要生成的质量。【方法】设计基于改进多头注意力机制的专利文本摘... 详细信息

【目的】解决专利文本摘要生成中专利文本输入结构单一导致的摘要生成单一偏向性问题,以及摘要生成整体上的重复生成、不够简洁流畅、原始信息丢失等问题,提升专利文本摘要生成的质量。【方法】设计基于改进多头注意力机制的专利文本摘要生成模型IMHAM(Improved Multi-Head Attention Mechanism)。首先,针对结构单一问题,在专利的文本逻辑结构基础上设计两种基于余弦相似度的算法,选出最重要的专利文档;其次,设计一种具有多头注意力机制的序列至序列结构模型,更好地学习专利文本的特征表达;同时,在编码器层与解码器层增加自注意力层,修改注意力函数,解决重复生成的问题;最后,加入改进的指针网络结构解决原始信息丢失的问题。【结果】在公开的专利文本数据集上,所提模型相较于MedWriter基线模型,评价指标Rouge-1、Rouge-2、Rouge-L分别高出3.3%、2.4%、5.5%。【局限】所提模型更适用于专利这种有多种结构的文档,对于单一的文档结构无法发挥最重要文档算法的选择效果。【结论】对于类似具有多文档结构的文本,所提模型在摘要生成领域的质量提升具有良好的泛化能力,同时生成的摘要具有较好的流畅性。

关键词：专利文本摘要生成多头注意力指针网络

在线全文

学校读者我要写书评

暂无评论

融合多头注意力的轻量级作物病虫害识别

华南农业大学学报 2023年第6期44卷 986-994页

作者：赵法川徐晓辉宋涛郝淼淼汪曙朱伟龙河北工业大学电子信息工程学院天津300401

【目的】解决当前病虫害识别方法参数多、计算量大、难以在边缘嵌入式设备部署的问题,实现农作物病虫害精准识别,提高农作物产量和品质。【方法】提出一种融合多头注意力的轻量级卷积网络(Multi-head attention to convolutional neural... 详细信息

【目的】解决当前病虫害识别方法参数多、计算量大、难以在边缘嵌入式设备部署的问题,实现农作物病虫害精准识别,提高农作物产量和品质。【方法】提出一种融合多头注意力的轻量级卷积网络(Multi-head attention to convolutional neural network,M2CNet)。M2CNet采用层级金字塔结构,首先,结合深度可分离残差和循环全连接残差构建局部捕获块,用来捕捉短距离信息;其次,结合全局子采样注意力和轻量级前馈网络构建轻量级全局捕获块,用来捕捉长距离信息。提出M2CNet-S/B/L 3个变体以满足不同的边缘部署需求。【结果】M2CNet-S/B/L参数量分别为1.8M、3.5M和5.8M,计算量(Floating point operations,FLOPs)分别为0.23G、0.39G和0.60G。M2CNet-S/B/L对PlantVillage病害数据集取得了大于99.7%的Top5准确率和大于95.9%的Top1准确率,对IP102虫害数据集取得了大于88.4%的Top5准确率和大于67.0%的Top1准确率,且比同级别的模型表现优异。【结论】该方法能够对作物病虫害进行有效识别,且可为边缘侧工程部署提供有益参考。

关键词：病虫害识别轻量级多头注意力残差学习深度可分离

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

多头注意力与语义视频标注

计算机工程与应用 2020年第6期56卷 133-139页

作者：石开胡燕武汉理工大学计算机学院

在序列到序列的视频标注模型中,视频信息在经过编码之后被大幅压缩导致解码器端不能充分利用。为了解决这一问题,在模型中引入多头注意力机制和语义信息。多头注意力使得模型在生成不同的单词时可以焦距编码端视频信息的不同部分。语义... 详细信息

在序列到序列的视频标注模型中,视频信息在经过编码之后被大幅压缩导致解码器端不能充分利用。为了解决这一问题,在模型中引入多头注意力机制和语义信息。多头注意力使得模型在生成不同的单词时可以焦距编码端视频信息的不同部分。语义信息由语义探测单元通过多标签分类方式生成视频的语义概率信息方式引入,给解码端提供额外指导,改进后的模型仍然是端到端的。实验结果表明,改进后的模型标注效果取得了显著的提升,采用的改进方法对提升标注能力有明显作用。

关键词：视频标注多头注意力语义信息

在线全文

学校读者我要写书评

暂无评论

基于图卷积与多头注意力的图文跨模态检索

光电子．激光 2024年第9期35卷 925-933页

作者：化春键张宏图蒋毅俞建峰陈莹江南大学机械工程学院江苏无锡214122 江苏省食品先进制造装备技术重点实验室江苏无锡214122 江南大学物联网工程学院江苏无锡214122

针对现有跨模态检索方法难以衡量各节点数据权重和模态内局部一致性的问题,提出一种基于多头注意力机制的图文跨模态检索方法。首先在构建模态图时,将单个图文样本作为独立节点,采用图卷积提取各样本间的交互信息,提高不同模态数据内的... 详细信息

针对现有跨模态检索方法难以衡量各节点数据权重和模态内局部一致性的问题,提出一种基于多头注意力机制的图文跨模态检索方法。首先在构建模态图时,将单个图文样本作为独立节点,采用图卷积提取各样本间的交互信息,提高不同模态数据内的局部一致性;然后在图卷积中引入注意力机制,自适应学习各个邻居节点的权重系数,从而区分不同邻居节点对中心节点的影响力;最后构建带有权重参数的多头注意力层,充分学习节点间的多组相关特征。与现有8种方法相比,该方法在Wikipedia数据集和Pascal Sentence数据集上进行实验得到的mAP值,分别提升了2.6%—42.5%和3.3%—54.3%。

关键词：注意力权重邻接矩阵多头注意力公共子空间跨模态检索