检索结果-南通市图书馆

基于交叉注意力多源数据增强的情境感知查询建议方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

北京大学学报（自然科学版） 2024年第1期60卷 34-42页

作者：张乃洲曹薇河南财经政法大学计算机与信息工程学院郑州450046

当前基于神经网络模型的查询建议研究往往单独采用查询日志会话中的查询序列作为训练数据,但由于查询本身缺乏句法关系,甚至缺失语义,导致神经网络模型不能充分挖掘和推理查询序列中各种词或概念之间语义关系。针对这一问题,提出一种基... 详细信息

当前基于神经网络模型的查询建议研究往往单独采用查询日志会话中的查询序列作为训练数据,但由于查询本身缺乏句法关系,甚至缺失语义,导致神经网络模型不能充分挖掘和推理查询序列中各种词或概念之间语义关系。针对这一问题,提出一种基于交叉注意力多源数据增强(MDACA)的Transformer模型框架,用于生成情境感知的查询建议。采用基于Transformer的编码器-解码器模型,利用交叉注意力机制,融合了查询层、文档语义层以及全局查询建议信息。实验结果表明,与目前方法相比,该方法能生成具有更高相关性的情境感知查询建议。

关键词：查询建议数据增强交叉注意力情境感知 Transformer模型

在线全文

学校读者我要写书评

暂无评论

基于交叉注意力的方面级情感分析

计算机工程与应用 2023年第9期59卷 190-197页

作者：周润民胡旭耀吴克伟于磊谢昭江龙合肥工业大学计算机与信息学院合肥230009 合肥工业大学、工业安全与应急技术安徽省重点实验室合肥230009

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意... 详细信息

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。

关键词：方面级情感分析门控机制交叉注意力位置信息

在线全文

学校读者我要写书评

暂无评论

基于局部窗口交叉注意力的轻量型语义分割

汽车工程 2023年第9期45卷 1617-1625页

作者：金祖亮隗寒冰 Zheng Liu 娄路郑国峰重庆交通大学机电与车辆工程学院重庆400074 University of British Columbia Okanagan KelownaBCCanada

在自动驾驶汽车环境感知任务中,采用环视相机在统一鸟瞰图(bird′s eye view,BEV)坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题,本文提出一种... 详细信息

在自动驾驶汽车环境感知任务中,采用环视相机在统一鸟瞰图(bird′s eye view,BEV)坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题,本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征,通过构建BEV查询和图像特征之间的局部窗口交叉注意力,完成对跨相机透视图之间的特征查询,然后对融合后的BEV特征图通过上采样残差块对BEV特征解码,以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明,该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%,相较于表现较好的HDMapNet提高2.2%,推理速度相较于较快的GKT提高58.2%,帧率达到106 FPS。

关键词：鸟瞰图语义分割局部窗口交叉注意力

在线全文

学校读者我要写书评

暂无评论

基于交叉注意力的点击率预测模型

计算机工程与应用 2024年

作者：何李杰高茂庭上海海事大学信息工程学院

有效特征的挖掘是点击率预测的关键，针对点击率预测模型对局部组合特征与全局特征间的信息交流考虑不充分，对组合特征的重要度表达不准确的问题，提出一种基于交叉注意力的点击率预测模型(CANN)，通过交叉注意力机制突出组合特征与全... 详细信息

有效特征的挖掘是点击率预测的关键，针对点击率预测模型对局部组合特征与全局特征间的信息交流考虑不充分，对组合特征的重要度表达不准确的问题，提出一种基于交叉注意力的点击率预测模型(CANN)，通过交叉注意力机制突出组合特征与全局特征间的联系和交流，以充分挖掘有效特征。先通过全局平均池化分别得到每个特征的特征值并拼接成全局特征；再采用轴加权融合的方式来捕获组合特征；然后，通过交叉注意力机制实现全局特征与组合特征交叉，得到组合特征的权重来表达其重要性，并将加权的组合特征融合到全局特征，以提高信息交流；最后，通过多层感知机学习，得到点击率预测值。在两个公开和真实的数据集上的实验结果验证了该模型的有效性。

关键词：点击率预测交叉注意力特征交互神经网络

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

融合交叉注意力机制的图像任意风格迁移

计算机科学 2022年第S01期49卷 345-352,396页

作者：杨玥冯涛梁虹杨扬云南大学信息学院昆明650500 云南财经大学信息学院昆明650221

图像风格迁移指将一张普通照片转化为一张具有其他艺术风格效果的图像,随着深度学习的发展,出现了一些图像任意风格迁移算法,给定任意风格便能生成具有该风格的风格化图像。针对任意风格迁移算法中存在如何同时适应全局和局部风格,保持... 详细信息

图像风格迁移指将一张普通照片转化为一张具有其他艺术风格效果的图像,随着深度学习的发展,出现了一些图像任意风格迁移算法,给定任意风格便能生成具有该风格的风格化图像。针对任意风格迁移算法中存在如何同时适应全局和局部风格,保持空间一致性问题,提出了一个融合交叉注意力的任意风格迁移算法网络,通过捕捉长程依赖,高效生成全局与局部风格协调的风格化图像;针对风格化图像的内容结构扭曲问题,在进行风格迁移之前,加入一组并行的通道空间注意力网络,该注意力网络能进一步细化关键特征,保留关键信息;除此之外,提出了一个新的损失函数,在消除伪影的同时能更好地保留内容结构信息。该算法能根据内容图像的语义空间分布,匹配语义上最接近的风格特征,高效灵活地调整局部风格,且能保留更多内容结构的原始信息。实验结果表明,所提算法能够生成任意风格且视觉效果更佳的高质量风格化图像。

关键词：任意风格迁移交叉注意力通道空间注意力卷积神经网络特征融合长程依赖

在线全文

学校读者我要写书评

暂无评论

基于协同注意力的小样本的手机屏幕缺陷分割

电子与信息学报 2022年第4期44卷 1476-1483页

作者：许国良毛骄重庆邮电大学通信与信息工程学院重庆400065 重庆邮电大学电子信息与网络工程研究院重庆400065

在手机屏幕工业化生产过程中,缺陷检测的好坏直接影响手机屏幕的合格率。少量的缺陷样本不足以完成数据驱动的分割网络的训练,因此如何利用少量的缺陷图像完成缺陷分割成为关键问题。该文针对此问题提出一种基于协同注意力的小样本手机... 详细信息

在手机屏幕工业化生产过程中,缺陷检测的好坏直接影响手机屏幕的合格率。少量的缺陷样本不足以完成数据驱动的分割网络的训练,因此如何利用少量的缺陷图像完成缺陷分割成为关键问题。该文针对此问题提出一种基于协同注意力的小样本手机屏幕缺陷分割网络(Co-ASNet)。该网络使用交叉注意力块在特征提取时获取更加丰富的上下文缺陷特征信息,同时引入了协同注意力的方式来加强支持图像与查询图像相同缺陷目标之间的特征信息交互,增强缺陷特征表示,另外,使用了改进的联合损失函数来完成网络的训练。该文采用手机屏幕缺陷数据集进行实验,实验结果表明,Co-ASNet能够使用少量的缺陷样本完成良好的缺陷分割效果。

关键词：手机屏幕缺陷小样本分割协同注意力交叉注意力

用于遥感影像建筑物变化检测的多尺度交叉对偶注意力网络

在线全文

学校读者我要写书评

暂无评论

地球信息科学学报 2023年第12期25卷 2487-2500页

作者：张建兵严泽枭马淑芳中国石油大学(北京)信息科学与工程学院北京102249 中国石油大学(北京)石油数据挖掘北京市重点实验室北京102249

本文提出了一种用于遥感影像变化检测的多尺度交叉对偶注意力网络MSCDAN(Multi-Scale Cross Dual Attention Network),该神经网络模型利用改进的ResNet18网络提取原始遥感影像中的多尺度低级特征,并通过结合交叉注意力和对偶注意力2种... 详细信息

本文提出了一种用于遥感影像变化检测的多尺度交叉对偶注意力网络MSCDAN(Multi-Scale Cross Dual Attention Network),该神经网络模型利用改进的ResNet18网络提取原始遥感影像中的多尺度低级特征,并通过结合交叉注意力和对偶注意力2种注意力机制的CDA(Cross Dual Attention)模块提取注意力特征信息。CDA模块可以加强输入数据中不同视角或特征图之间的关联、融合时空信息、捕捉地表变化的时间序列特征、识别周期性变化和持续性变化等时序相关的变化模式。MSCDAN模型通过全转置卷积上采样模块FTCUM(Fully Transposed Convolution Upsampling Module)对特征图中的每个点进行局部的特征融合,由神经网络判别变化边界,避免了像双线性插值等传统方法带来的模糊和锯齿等问题,且实现了端到端的训练和优化,从而能够更好地适应遥感影像变化检测任务需求。相较于现有主流方法DTCDSCN(Dual-Task Constrained Deep Siamese Convolutional Network),本文提出的方法在DSIFN数据集上的准确度提高了5.13%,在WHU-CD数据集上的准确度提高了1.3%。同时,本文方法在这两个数据集上的表现也优于现有方法ChangeNet以及LamboiseNet,在CDD数据集上的表现优于改进DeepLabv3+和SRCD-Net。这些结果表明本文方法在不同数据集上均具有良好的性能,对进一步研究遥感影像变化检测具有重要参考价值。

关键词：遥感影像深度学习变化检测残差卷积多尺度特征交叉注意力对偶注意力全转置卷积上采样

基于深度可分离卷积和交叉注意力的水面污染识别

在线全文

学校读者我要写书评

暂无评论

计算机系统应用 2024年第1期33卷 297-303页

作者：王宁杨志斌中国科学院沈阳计算技术研究所沈阳110168 中国科学院大学北京100049

水面污染严重影响水面景观和水体生态.针对识别水面污染过程中水面场景复杂、小目标污染物特征难以提取等问题,本文提出一种基于深度可分离卷积与交叉注意力算法模块(deep-wise convolution and cross attention,DCCA).使用深度可分离... 详细信息

水面污染严重影响水面景观和水体生态.针对识别水面污染过程中水面场景复杂、小目标污染物特征难以提取等问题,本文提出一种基于深度可分离卷积与交叉注意力算法模块(deep-wise convolution and cross attention,DCCA).使用深度可分离卷积降低模型的参数量和计算量,使用交叉注意力建立不同尺度特征图之间的关系,使模型更好地理解上下文信息并提高识别复杂场景和小目标的能力.实验结果表明,添加DCCA模块后平均精确率提升了1.8%,达到了88.7%.并使用较少的显存占用提高了水面污染的检测效果.

关键词：深度可分离卷积交叉注意力污染识别目标检测卷积神经网络深度学习

在线全文

学校读者我要写书评

暂无评论

说话人感知的交叉注意力说话人提取网络

广东工业大学学报 2024年第3期41卷 91-101页

作者：李卓璋许柏炎蔡瑞初郝志峰广东工业大学计算机学院广东广州510006 汕头大学理学院广东汕头515063

目标说话人提取任务的目标是在一段混合音频中提取特定说话人的语音,任务设置上一般会给一段目标说话人注册音频作为辅助信息。现有的研究工作主要有以下不足:(1)说话人识别的辅助网络无法捕获学习注册音频中的关键信息;(2)缺乏混合音... 详细信息

目标说话人提取任务的目标是在一段混合音频中提取特定说话人的语音,任务设置上一般会给一段目标说话人注册音频作为辅助信息。现有的研究工作主要有以下不足:(1)说话人识别的辅助网络无法捕获学习注册音频中的关键信息;(2)缺乏混合音频嵌入和注册音频嵌入的交互学习机制。以上不足导致了现有研究工作在注册音频和目标音频之间存在较大差异时有说话人混淆问题。为了解决该问题,提出说话人感知的交叉注意力说话人提取网络(Speaker-aware Cross Attention Speaker Extraction Network,SACAN)。SACAN在说话人识别辅助网络引入基于注意力的说话人聚合模块,有效聚合目标说话人声音特性的关键信息和利用混合音频增强目标说话人嵌入。进一步地,SACAN通过交叉注意力构建交互学习机制促进说话人嵌入与混合音频嵌入融合学习,增强了模型的说话人感知能力。实验结果表明,SACAN相比基准方法在STOI和SI-SDRi分别提高了0.013 3、1.069 5 d B,并在说话人混淆相关评估和消融实验中验证了不同模块的有效性。

关键词：语音分离目标说话人提取说话人嵌入交叉注意力多任务学习