检索结果-南通市图书馆

基于Transformer架构的城市街景语义分割方法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

光电子·激光 2024年

作者：熊炜赵迪孙鹏刘粤湖北工业大学电气与电子工程学院美国南卡罗来纳大学计算机科学与工程系

针对部分Transformer网络在进行城市街景图像分割时，没有充分利用网络中的多尺度特征和上下文信息，导致分割结果部分大目标存在孔洞、小目标边缘分割不精细等缺陷。本文提出了基于Transformer架构的以提取多尺度特征和汇聚上下文信息... 详细信息

针对部分Transformer网络在进行城市街景图像分割时，没有充分利用网络中的多尺度特征和上下文信息，导致分割结果部分大目标存在孔洞、小目标边缘分割不精细等缺陷。本文提出了基于Transformer架构的以提取多尺度特征和汇聚上下文信息为主的Trans-AsfNet方法解决此问题。该分割方法引入了Swin Transformer作为新的特征提取网络，加强信息的长距离依赖；提出了一种自适应子空间特征融合模块(Adaptive Subspace Feature Fusion， ASFF)加强网络对多尺度特征的提取能力，同时设计了一种有效全局上下文聚合模块(Efficient Global Context Aggregation， EGCA)提升网络的上下文信息聚合能力，利用丰富的多尺度信息进行特征解码与信息补偿，然后聚合不同尺度的上下文信息以强化理解目标的语义信息，进而消除大目标孔洞，提高小目标像素边缘分割精度。将Trans-AsfNet方法通过CamVid城市街景数据集验证测试，实验结果表明，该网络基本可以消除分割孔洞缺陷、提升小目标边缘的分割效果，在CamVid测试集上MIoU达到了69.5%。

关键词： Transformer 城市街景上下文信息语义分割特征融合

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于分层表示和上下文增强的类摘要生成技术

计算机研究与发展 2024年第2期61卷 307-323页

作者：陈豪伶虞慧群范贵生李明辰黄子杰华东理工大学计算机科学与工程系上海200237

代码摘要是源代码的自然语言解释,高质量的代码摘要有助于提高开发人员程序理解效率.近年来,代码自动摘要的研究集中在为方法粒度的代码片段生成摘要.然而,对于面向对象的语言,例如Java,类才是项目的基本组成单元.基于上述问题,提出一... 详细信息

代码摘要是源代码的自然语言解释,高质量的代码摘要有助于提高开发人员程序理解效率.近年来,代码自动摘要的研究集中在为方法粒度的代码片段生成摘要.然而,对于面向对象的语言,例如Java,类才是项目的基本组成单元.基于上述问题,提出一种基于分层表示和上下文增强的类摘要生成方法HRCE(hierarchical representation and context enhancement),并构建了一个包含358 992个?Java类,上下文,摘要?数据对的类摘要数据集.HRCE使用代码精简策略去除类的非关键代码,从而缩短代码长度.然后,对类的层次结构,包括类签名、属性和方法分别进行建模,获得类的语义信息和层次结构信息.此外,从项目中抽取父类的签名及摘要来刻画类在项目中依赖的上下文.实验表明,基于分层表示和上下文增强的生成模型能够表征代码的语义和层次结构,并可以从目标类的内部和外部获取信息. HRCE在BLEU,METEOR,ROUGE-L等评估指标上超过了所有基准模型.

关键词：代码自动摘要分层表示上下文增强深度学习类摘要

基于多注意力机制与编译图神经网络的高光谱图像分类

在线全文

学校读者我要写书评

暂无评论

农业机械学报 2024年第3期55卷 183-192,212页

作者：孙杰杨静丁书杰李少波胡建军贵州大学机械工程学院贵阳550025 贵州大学省部共建公共大数据国家重点实验室贵阳550025 南卡罗莱纳州大学计算机科学与工程系哥伦比亚29208

针对高光谱图像(Hyperspectral image,HSI)分类研究中小样本学习时,无法达到理想分类效果的问题,以多注意力机制融合、编译图神经网络与卷积神经网络有机结合提出了一种新的高光谱图像分类方法。设计了一种基于混合注意力机制的网络(Mul... 详细信息

针对高光谱图像(Hyperspectral image,HSI)分类研究中小样本学习时,无法达到理想分类效果的问题,以多注意力机制融合、编译图神经网络与卷积神经网络有机结合提出了一种新的高光谱图像分类方法。设计了一种基于混合注意力机制的网络(Multiple mixed attention convolutional neural network,MCNN)与编译图神经网络(Compiled graph neural network,CGNN),在学习样本有限的情况下,其能有效保留HSI的光谱与空间信息。引入的图编码器与图解码器可以有效地映射不规则的HSI地物类别特征信息。设计的多注意力机制可以重点关注一些重要的空间像素特征。研究了不同训练样本下对不同算法学习示例分类的影响,在公共数据集Botswana(BS)的实验表明,本文方法比CEGCN(CNN-enhanced graph convolutional network)、WFCG(Weighted feature fusion of convolutional neural network)算法总体分类精度(Overall classification accuracy,OA)分别高2.72、3.86个百分点。同样在IndianPines(IP)数据集上仅用3%训练样本数据的实验结果显示,本研究方法比CEGCN与WFCG算法的OA分别高0.44、1.42个百分点。说明本研究提出的方法不仅对HSI具有良好的空间与光谱信息感知能力,而且在微小学习数据下仍然表现出强有力的分类准确性。

关键词：高光谱图像分类图神经网络注意力机制超像素分割

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于多模态迭代及修正的文本识别算法

光电子．激光 2024年第5期35卷 525-535页

作者：强观臣张丽真杨茜熊炜李利荣湖北工业大学电气与电子工程学院湖北武汉430068 湖北工业大学太阳能高效利用及储能运行控制湖北省重点实验室湖北武汉430068 湖北工业大学新能源及电网装备安全监测湖北省工程研究中心湖北武汉430068 美国南卡罗来纳大学计算机科学与工程系南卡罗来纳州29201

针对场景文本识别在长距离建模时容易产生信息丢失和对低分辨率文本图像表征能力较弱的问题,提出了一种基于多模态迭代及修正的文本识别算法。本文算法的视觉模型(vision model)是由CoTNet(contextual transformer networks for visual ... 详细信息

针对场景文本识别在长距离建模时容易产生信息丢失和对低分辨率文本图像表征能力较弱的问题,提出了一种基于多模态迭代及修正的文本识别算法。本文算法的视觉模型(vision model)是由CoTNet(contextual transformer networks for visual recognition)、动态卷积注意力模块(dynamic convolution attention module,DCAM)、EA-Encoder(external attention encoder)和位置注意力机制组合而成的。其中CoTNet可以有效起到缓解长距离建模产生的信息丢失问题;DCAM在增强表征能力、专注于重要特征的同时,将重要的特征传给EA-Encoder,进而提高CoTNet和EA-Encoder之间的联系;EA-Encoder可以学习整个数据集上最优区分度的特征,捕获最有语义信息的部分,进而增强表征能力。经过视觉模型后,再经过文本修正模块(text correction model)和融合模块(fusion model)得到最终的识别结果。实验数据显示,本文所提出的算法在多个公共场景文本数据集上表现良好,尤其是在不规则数据集ICDAR2015上准确率高达85.9%。

关键词：场景文本识别动态卷积注意力模块外部注意力机制编码器

在线全文

学校读者我要写书评

暂无评论

一种面向联邦学习对抗攻击的选择性防御策略

电子与信息学报 2024年第3期46卷 1119-1127页

作者：陈卓江辉周杨重庆理工大学计算机科学与工程学院重庆400054 奥本大学计算机科学与软件工程学院美国阿拉巴马州奥本市36849

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可... 详细信息

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%~11%。

关键词：联邦学习对抗性攻击防御机制对抗性训练

同方期刊数据库

基于双重注意力和多尺度特征融合的场景文本检测算法

在线全文

学校读者我要写书评

暂无评论

光电子．激光 2024年第6期35卷 570-579页

作者：强观臣杨茜张丽真熊炜李利荣湖北工业大学电气与电子工程学院湖北武汉430068 湖北工业大学太阳能高效利用及储能运行控制湖北省重点实验室湖北武汉430068 湖北工业大学新能源及电网装备安全监测湖北省工程研究中心湖北武汉430068 美国南卡罗来纳大学计算机科学与工程系南卡罗来纳州29201

本文提出了一种场景文本检测方法,用于应对复杂自然场景中文本检测的挑战。该方法采用了双重注意力和多尺度特征融合的策略,通过双重注意力融合机制增强了文本特征通道之间的关联性,提升了整体检测性能。在考虑到深层特征图上下采样可... 详细信息

本文提出了一种场景文本检测方法,用于应对复杂自然场景中文本检测的挑战。该方法采用了双重注意力和多尺度特征融合的策略,通过双重注意力融合机制增强了文本特征通道之间的关联性,提升了整体检测性能。在考虑到深层特征图上下采样可能引发的语义信息损失的基础上,提出了空洞卷积多尺度特征融合金字塔(dilated convolution multi-scale feature fusion pyramid structure,MFPN),它采用双融合机制来增强语义特征,有助于加强语义特征,克服尺度变化的影响。针对不同密度信息融合引发的语义冲突和多尺度特征表达受限问题,创新性地引入了多尺度特征融合模块(multi-scale feature fusion module,MFFM)。此外,针对容易被冲突信息掩盖的小文本问题,引入了特征细化模块(feature refinement module,FRM)。实验表明,本文的方法对复杂场景中文本检测有效,其F值在CTW1500、ICDAR2015和Total-Text 3个数据集上分别达到了85.6%、87.1%和86.3%。

关键词：文本检测注意力融合多尺度特征融合金字塔

在线全文

学校读者我要写书评

暂无评论

图文数据的多级关系分析与挖掘方法

北京航空航天大学学报 2024年第2期50卷 684-694页

作者：郭瑞萍王海荣王栋北方民族大学计算机科学与工程学院银川750021

如何高效挖掘多模态数据间隐藏的语义关联是当前多模态知识抽取的重点任务之一,为更细粒度地挖掘图像与文本数据间关系,提出了一种多级关系分析与挖掘(MRAM)方法,引入BERT-Large模型,提取文本特征构建文本连接图,利用Faster-RCNN网络提... 详细信息

如何高效挖掘多模态数据间隐藏的语义关联是当前多模态知识抽取的重点任务之一,为更细粒度地挖掘图像与文本数据间关系,提出了一种多级关系分析与挖掘(MRAM)方法,引入BERT-Large模型,提取文本特征构建文本连接图,利用Faster-RCNN网络提取图像特征来学习空间位置关系和语义关系并构建图像连接图,进而完成单模态内部语义关系计算,在此基础上,使用节点切分方法和带多头注意力机制的图卷积网络(GCN-MA)进行局部和全局的图文关系融合。此外,为提升关系挖掘效率,采用了基于注意力机制的连边权重剪枝策略,用以增强重要分支表示,减少冗余信息干扰。在公开的Flickr30K、MSCOCO-1K、MSCOCO-5K数据集上进行方法实验,并与11种方法进行实验结果的对比分析,所提方法在Flickr30K上的平均召回率提高了0.97%和0.57%,在MSCOCO-1K上的平均召回率提高了0.93%和0.63%,在MSCOCO-5K上的平均召回率提高了0.37%和0.93%,实验结果验证了所提方法的有效性。

关键词：关系挖掘多级关系注意力机制图卷积网络图文数据

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

自注意力相似度迁移跨模态哈希网络

北京航空航天大学学报 2024年第2期50卷 615-622页

作者：梁焕王海荣王栋北方民族大学计算机科学与工程学院银川750021

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学... 详细信息

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希(DCMH)、成对关系引导的深度哈希(PRDH)、跨模态汉明哈希(CMHH)等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值(MAP)达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。

关键词：跨模态检索哈希学习注意力机制迁移学习无监督学习

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

量子计算系统软件研究综述

软件学报 2024年第1期35卷 1-18页

作者：谢磊翟季冬清华大学计算机科学与技术系北京100084

量子计算理论上有望解决诸多经典难解问题,近年来量子计算机的快速发展正推动这一理论进入实践.然而,当前硬件中繁多的错误会造成计算结果出错,严重限制了量子计算机解决实际问题的能力.量子计算系统软件位于应用与硬件之间,充分挖掘系... 详细信息

量子计算理论上有望解决诸多经典难解问题,近年来量子计算机的快速发展正推动这一理论进入实践.然而,当前硬件中繁多的错误会造成计算结果出错,严重限制了量子计算机解决实际问题的能力.量子计算系统软件位于应用与硬件之间,充分挖掘系统软件在硬件错误减缓方面的潜力,对于近期实现有实用价值的量子计算而言至关重要.由此,近期涌现了一批量子计算系统软件研究工作.将这些工作归纳入编译器、运行时系统和调试器3个范畴,通过对它们的分析总结,梳理量子计算系统软件的研究现状,揭示其在硬件错误减缓方面的重要作用.并对未来的研究方向进行展望.

关键词：量子计算系统软件嘈杂中规模量子编译运行时调试