检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种基于对抗训练的医疗问答匹配方法

北京邮电大学学报 2022年第4期45卷 37-43页

作者：付洁琼孙亚伟刘建毅李金斌北京邮电大学计算机学院(国家示范性软件学院) 北京100876 北京邮电大学可信分布式计算与服务教育部重点实验室北京100876 北京邮电大学网络空间安全学院北京100876 中国医学科学院国家人口健康科学数据中心北京100005

相较于英文开放领域的问答匹配,中文专业医疗领域的问答匹配任务更具有挑战性。针对中文语义和医疗数据的复杂、多样,大多数研究人员都专注于设计繁杂的神经网络来探索更深层次的文本语义,工作思路较为单一,同时神经网络模型很容易因为... 详细信息

相较于英文开放领域的问答匹配,中文专业医疗领域的问答匹配任务更具有挑战性。针对中文语义和医疗数据的复杂、多样,大多数研究人员都专注于设计繁杂的神经网络来探索更深层次的文本语义,工作思路较为单一,同时神经网络模型很容易因为微小扰动而误判,模型的泛化能力较差。为此,提出了一种基于对抗训练的问答匹配模型,利用双向预训练编码器来捕获问答句的语义信息,从而得到对应的向量表征;再通过在词嵌入表示上添加扰动因子生成对抗样本;最后将初始样本和对抗样本共同输入带有线性层的模型中进行分类预测。在cMedQA V2.0数据集上通过对比实验证明了对抗训练可以有效提升问答匹配模型的性能。

关键词：医疗问答对抗训练自然语言处理

在线全文

学校读者我要写书评

暂无评论

基于融合对抗训练的农作物品种信息抽取方法

农业机械学报 2023年第12期54卷 272-279,337页

作者：许鑫马文政张浩马新明乔红波河南农业大学信息与管理科学学院郑州450002

针对我国作物品种种类多,资源信息规范性差,模型训练精度低等问题,本文以小麦、水稻、玉米、大豆、棉花、花生、油菜7种作物为对象,以品种、形态、产量和品质等参数为指标,构建了83个品种实体,采用人工标注方法,通过融合对抗训练技术,... 详细信息

针对我国作物品种种类多,资源信息规范性差,模型训练精度低等问题,本文以小麦、水稻、玉米、大豆、棉花、花生、油菜7种作物为对象,以品种、形态、产量和品质等参数为指标,构建了83个品种实体,采用人工标注方法,通过融合对抗训练技术,提出了农作物品种信息抽取4层网络模型(BERT-PGD-BiLSTM-CRF)。模型基于深层双向Transformer构建的BERT(Bidirectional encoder representation from transformers)模型作为预训练模型获取字词语义表示,使用PGD(Projected gradient descent)对抗训练方法为样本增加扰动,提高模型鲁棒性和泛化性,利用双向长短期记忆网络(Bidirectional long short-term memory, BiLSTM)学习长距离文本信息,结合条件随机场(Conditional random field, CRF)学习标签约束信息。对比18个不同信息抽取模型的训练效果,结果表明,本研究提出的BERT-PGD-BiLSTM-CRF模型精确率为95.4%、召回率为97.0%、F1值为96.2%,说明利用对抗训练技术的BERT-PGD-BiLSTM-CRF模型能够有效对作物品种信息进行抽取,同时也为农业信息抽取提供了技术参考。

关键词：农作物品种信息抽取 BERT 对抗训练

基于联合对抗训练的深度学习表面缺陷检测方法

在线全文

学校读者我要写书评

暂无评论

机械工程学报 2023年第12期59卷 173-182页

作者：吴强威文龙中国地质大学(武汉)机械与电子信息学院武汉430074

表面缺陷检测是确保产品质量的重要途径。深度学习在表面缺陷检测中已经得到了大量应用,并为实现自动化的表面缺陷检测提供有效的技术途径。然而,深度学习模型容易受到对抗攻击的威胁,进而严重影响其准确性,甚至造成模型失效。为提升深... 详细信息

表面缺陷检测是确保产品质量的重要途径。深度学习在表面缺陷检测中已经得到了大量应用,并为实现自动化的表面缺陷检测提供有效的技术途径。然而,深度学习模型容易受到对抗攻击的威胁,进而严重影响其准确性,甚至造成模型失效。为提升深度学习模型对对抗攻击算法的防御能力,基于对抗训练提出新的基于联合对抗训练的深度学习模型。对抗攻击算法包括单步攻击算法和迭代攻击算法,为提升所提联合对抗深度学习模型的防御能力,在对深度学习模型训练时即同时添加不同对抗攻击算法生成的对抗样本,同时增强模型对单步对抗攻击算法和迭代对抗攻击算法的防御能力。为验证所提算法的有效性,所提算法以CIFAR10和磁瓦表面缺陷数据集为基础进行验证。试验结果表明,所提的联合对抗训练深度学习模型能显著提升对单步对抗攻击与迭代对抗攻击的鲁棒性,并优于传统方法。

关键词：深度学习表面缺陷检测对抗攻击对抗训练

在线全文

学校读者我要写书评

暂无评论

基于可学习攻击步长的联合对抗训练方法

计算机应用研究 2024年第6期41卷 1845-1850页

作者：杨时康柳毅广东工业大学计算机学院广州510006

对抗训练(AT)是抵御对抗攻击的有力手段。然而,现有方法在训练效率和对抗鲁棒性之间往往难以平衡。部分方法提高训练效率但降低对抗鲁棒性,而其他方法则相反。为了找到最佳平衡点,提出了一种基于可学习攻击步长的联合对抗训练方法(FGSM-... 详细信息

对抗训练(AT)是抵御对抗攻击的有力手段。然而,现有方法在训练效率和对抗鲁棒性之间往往难以平衡。部分方法提高训练效率但降低对抗鲁棒性,而其他方法则相反。为了找到最佳平衡点,提出了一种基于可学习攻击步长的联合对抗训练方法(FGSM-LASS)。该方法包括预测模型和目标模型,其中,预测模型为每个样本预测攻击步长,替代FGSM算法的固定大小攻击步长。接着,将目标模型参数和原始样本输入改进的FGSM算法,生成对抗样本。最后,采用联合训练策略,共同训练预测和目标模型。在与最新五种方法比较时,FGSM-LASS在速度上比鲁棒性最优的LAS-AT快6倍,而鲁棒性仅下降1%;与速度相近的ATAS相比,鲁棒性提升3%。实验结果证明,FGSM-LASS在训练速度和对抗鲁棒性之间的权衡表现优于现有方法。

关键词：对抗训练对抗样本对抗攻击预测模型可学习攻击步长

GAT:用于自然语言理解的基于全局的对抗训练

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

中文信息学报 2023年第3期37卷 27-35页

作者：蔡坤钊曾碧卿陈鹏飞华南师范大学软件学院广东佛山528225

在自然语言处理领域中,基于梯度的对抗训练是一种能够有效提高神经网络鲁棒性的方法。首先,该文针对现有的对抗训练算法效率较低的问题,提出基于全局扰动表的初始化策略,在提高神经网络的训练效率的同时保证初始化扰动的有效性;其次,针... 详细信息

在自然语言处理领域中,基于梯度的对抗训练是一种能够有效提高神经网络鲁棒性的方法。首先,该文针对现有的对抗训练算法效率较低的问题,提出基于全局扰动表的初始化策略,在提高神经网络的训练效率的同时保证初始化扰动的有效性;其次,针对传统的归一化方法忽略了令牌之间的相对独立性问题,提出基于全局等权的归一化策略,保证令牌之间的相对独立性,避免少数样本主导对抗训练;最后,对于使用可学习的位置编码的预训练语言模型,提出基于全局多方面的扰动策略,使得神经网络更具鲁棒性。实验结果表明,该方法能有效提升神经网络的性能。

关键词：自然语言理解对抗训练初始化策略归一化策略扰动策略

对抗训练在人脸关键点序列稳定化问题中的应用

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2021年第7期42卷 1407-1414页

作者：何卓骋李京中国科学技术大学计算机科学与技术学院云计算实验室合肥230026

人脸关键点检测问题在静态图像上已经得到了较好的解决,然而当使用这类解决方案逐帧地应用于视频数据时,所预测出的人脸关键点会呈现出明显的非规则抖动,因此如何准确且稳定地对流媒体中的人脸关键点进行定位成为了新的挑战.本文提出了... 详细信息

人脸关键点检测问题在静态图像上已经得到了较好的解决,然而当使用这类解决方案逐帧地应用于视频数据时,所预测出的人脸关键点会呈现出明显的非规则抖动,因此如何准确且稳定地对流媒体中的人脸关键点进行定位成为了新的挑战.本文提出了一种基于平滑网格逆变换以及借助参数化人脸3D模型进行对抗训练的方式对现有方案进行改进.该方案训练所得的神经网络模型能够在不借助序列平滑后处理算法的情况下,逐帧应用于流媒体数据,给出稳定且准确的人脸关键点位置信息.其准确性相较于改进前的模型保持一致,而稳定性则超越了已有工作.

关键词：人脸关键点检测堆叠沙漏网络对抗训练计算机视觉

基于多头自注意力机制和对抗训练的实体关系联合抽取

在线全文

学校读者我要写书评

暂无评论

成都理工大学学报（自然科学版） 2024年第3期51卷 513-521页

作者：甘雨金李红军唐小川王子怡甘晨灼胡正浩成都理工大学计算机与网络安全学院(示范性软件学院) 成都610059

实体关系联合抽取是构建知识图谱的重要阶段,旨在抽取文本中存在语义关系的实体对。针对已有的实体关系联合抽取方法在抽取过程中存在的冗余关系预测、实体关系重叠以及上下文潜在语义信息捕捉不足的问题,提出联合多头自注意力机制和对... 详细信息

实体关系联合抽取是构建知识图谱的重要阶段,旨在抽取文本中存在语义关系的实体对。针对已有的实体关系联合抽取方法在抽取过程中存在的冗余关系预测、实体关系重叠以及上下文潜在语义信息捕捉不足的问题,提出联合多头自注意力机制和对抗训练的方法进行实体关系的抽取。该方法利用多头自注意力机制捕获潜在语义特征,以提升模型对上下文语义信息的感知能力;将对抗训练引入模型的训练阶段,以增强模型的泛化能力和鲁棒性。实验结果表明:与现有主流模型对比,提出的模型在NYT和WebNLG两个公共数据集上都取得了更优的F 1值,在处理实体关系重叠问题以及不定数量三元组抽取上都能保持稳定的性能表现,验证了模型的有效性。

关键词：实体关系联合抽取对抗训练多头自注意力知识图谱

在线全文

学校读者我要写书评

暂无评论

基于对抗训练的伪标签约束自编码器

计算机工程 2023年第11期49卷 123-130页

作者：富坤孙明磊郝玉涵刘赢华河北工业大学人工智能与数据科学学院天津300401

社会网络的节点经常存在标注缺失、标注错误和人工标注成本高的现象,这种现象对监督或半监督的网络表示学习效果产生了不利的影响。提出一个自监督学习的网络表示学习模型——基于对抗训练的伪标签约束自编码器(AT-PLCAE)。设计一个伪... 详细信息

社会网络的节点经常存在标注缺失、标注错误和人工标注成本高的现象,这种现象对监督或半监督的网络表示学习效果产生了不利的影响。提出一个自监督学习的网络表示学习模型——基于对抗训练的伪标签约束自编码器(AT-PLCAE)。设计一个伪标签约束自编码器,通过缩短原始图的伪标签和网络表示的伪标签之间的距离,减少编码过程中产生的信息损失,约束和引导模型有效学习。同时,设计与伪标签约束自编码器相适应的对抗网络,组织表示的潜在空间结构。将潜在表示后验分布与输入的特定先验分布相匹配后,该模型能够缓解过拟合问题并提升模型的泛化能力。在Cora、Citeseer、Wiki和Pubmed这4个公开数据集上进行节点分类实验,结果表明,AT-PLCAE模型在分类准确率方面学习效果优于基准方法,与基准方法的最高分类准确率相比,在Cora数据集上提升0.018,在Citeseer和Pubmed数据集上均提升0.011。同时消融实验结果表明,针对伪标签约束自编码器的对抗训练增强了模型的泛化能力。

关键词：自监督学习网络表示学习伪标签自编码器对抗训练泛化

在线全文

学校读者我要写书评

暂无评论

基于无监督对抗训练的跨语言文本分类方法

中文信息学报 2023年第9期37卷 55-62页

作者：崔东虎崔荣一赵亚慧延边大学智能信息处理研究室吉林延吉133002

针对目前大多数语言没有足够多标注数据的问题,该文提出了汉-朝跨语言多层语义对齐的文本分类模型,通过结合无监督词嵌入映射和对抗训练,使模型可以从资源丰富的语言资源中学习到文本分类知识并迁移到低资源语言中。首先,采用线性映射... 详细信息

针对目前大多数语言没有足够多标注数据的问题,该文提出了汉-朝跨语言多层语义对齐的文本分类模型,通过结合无监督词嵌入映射和对抗训练,使模型可以从资源丰富的语言资源中学习到文本分类知识并迁移到低资源语言中。首先,采用线性映射方法将预训练好的单语词向量映射到同一语义空间中;然后利用源语言和目标语言词信息进行对抗训练,指导分类模型学习语言无关特征,达到提升汉-朝跨语言文本分类性能的目的。实验结果表明,与直接使用汉-朝跨语言词向量相比,该文方法显著提高了汉-朝跨语言文本分类的准确率,在无监督的条件下准确率达到了84.1%。

关键词：文本分类跨语言词嵌入对抗训练