检索结果-南通市图书馆

面向问题生成的暴露偏差消解和多目标评价方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向问题生成的暴露偏差消解和多目标评价方法研究

作者：苏玉兰苏州大学

学位级别：硕士

问题生成(Question Generation,简称QG)是智能问答领域的重要任务之一,旨在根据给定文本,自动生成语法通顺、语义相关的自然问句。该技术能够赋予机器“自主提问”的能力,在新兴的智能教育、自动问诊和社区问答等场景中应用价值广泛。... 详细信息

问题生成(Question Generation,简称QG)是智能问答领域的重要任务之一,旨在根据给定文本,自动生成语法通顺、语义相关的自然问句。该技术能够赋予机器“自主提问”的能力,在新兴的智能教育、自动问诊和社区问答等场景中应用价值广泛。现有的问题生成研究往往采用教师强制学习方式,其驱动模型生成与标准问句相仿甚至一致的自然问句。然而,QG模型在测试阶段并无可参考的标准问句,仅能依靠非置信的信息(即前文预测结果),迭代地预测问句的下文。这种训练和测试阶段的信息差异(即暴露偏差),导致模型在生成过程中容易产生错误累积。本文针对上述问题展开以下具体研究:1)暴露偏差实质是指可靠上下文信息量的差异,训练阶段可靠信息量大,测试阶段可靠信息量少。因此,本文提出一种基于随机噪声感知的训练方法,该方法在标准问句中混入一定比例的随机噪声,降低了训练阶段的可靠信息量,以此增强QG模型对错误信息的感知能力,从而使得模型在测试阶段对偶发的错误进行“零容忍”的对抗;2)此外,本文发现QG模型在测试阶段产生的错误往往与其上下文具有一定的语义关联性。因此,本文提出一种基于可读噪声感知的训练方法,利用掩码语言模型制造出更加符合语法和语境的噪声。与随机噪声相比,可读噪声与测试阶段的实际错误更为相近,能够拟合测试环境中的偶发错误,进一步缓解了暴露偏差问题;3)然而,上述研究在促进QG模型对抗暴露偏差的同时,一定程度上制约了模型的灵活性。使得模型完全秉持一种规范的生成模式,追逐唯一且确定的标准问题,降低了生成问句的多样性。为此,本文提出一种面向问题生成的多目标评价方法,并构造了相应的多样化评估数据。该方法参考多个标准问句对生成问句的质量予以评估,从而客观反映出暴露偏差与模型灵活性之间的关系。本文提出两种基于噪声感知的训练方法,一定程度上缓解了 QG模型的暴露偏差问题,在公开数据集SQuAD上取得了 22.31%的BLEU-4性能。此外,本文提出的多目标问题生成评价方法,丰富了暴露偏差消解的研究视角和验证手段。

关键词：智能问答问题生成暴露偏差掩码语言模型评价方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

神经机器翻译中暴露偏差问题的研究

神经机器翻译中暴露偏差问题的研究

作者：赵家胥电子科技大学

学位级别：硕士

神经机器翻译是将一种语言的文本翻译成另一种语言的同义文本的任务,是自然语言处理的一个十分热门研究方向。如今,神经机器翻译在越来越国际化的社会起着至关重要的作用,其大都是基于序列到序列框架构建的,该框架包括一个编码器和一个... 详细信息

神经机器翻译是将一种语言的文本翻译成另一种语言的同义文本的任务,是自然语言处理的一个十分热门研究方向。如今,神经机器翻译在越来越国际化的社会起着至关重要的作用,其大都是基于序列到序列框架构建的,该框架包括一个编码器和一个解码器。编码器负责将输入的源序列映射到一个语义空间;解码器根据编码器的结果迭代地预测出目标序列。序列到序列模型的编码器的训练过程和测试过程是相同的,都是将源序列编码到一语义空间,但是解码器在训练和测试时运行模式是不同的,训练时解码器可以使用目标标签序列帮助训练,但是在测试时目标标签序列是不可用的,所以只能使用模型上一步的输出作为当前步的输入,模型在训练和测试时的这种差异会导致暴露偏差问题。本文针对神经机器翻译模型中普遍存在的暴露偏差问题,提出了新的神经机器翻译模型,提升了翻译质量,主要工作如下:（1）本文提出Twin-GAN模型,通过多个不同的方面使模型的训练过程接近测试过程以减小之间的差异。结合序列到序列模型解码器的特点,我们设计了一种新的“相似度选择”来选择解码器的输入数据,它使用模型上一步输出和模型当前步的标签的相似度作为解码器选择模型输出作为输入的概率。模型里有两个生成器和两个判别器,一个生成器在训练时使用“相似度选择”方法,另一个生成器则模拟测试过程,再通过一个判别器让两个生成器的模型分布靠近,以此减小训练和测试之间的差异。另一个判别器从句子级别提升生成器的翻译性能。实验表明Twin-GAN模型在对比模型中效果最佳,在IWSLT 2014德语-英语和的WMT 17汉语-英语翻译任务上分别达到28.07和21.06 BLEU值。（2）在Twin-GAN模型的工作上,我们采用零样本学习的思想从数据方面进一步解决暴露偏差问题。我们使用多任务的零样本学习方式训练翻译模型,包括零样本翻译任务、降噪自编码任务以及反向翻译任务。零样本翻译任务是指模型先从其他的双语语料中学习到与语种无关的特征,然后将其迁移到所要翻译的语言对中进行翻译;降噪自编码任务是训练模型将一个被破坏数据重构出一个完整、正确的数据;反向翻译任务得到的“伪平行语料”再次提高了模型的翻译性能。实验结果表明此方法在不使用平行语料的情况下的翻译性能超过了其他对比模型,在联合国平行语料库的西班牙语和法语互相翻译中达到平均37.65BLEU值。

关键词：深度学习神经机器翻译暴露偏差生成对抗网络零样本学习

基于二阶段对比学习的中文自动文本摘要方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

华东理工大学学报（自然科学版） 2024年第4期50卷 586-593页

作者：杨子健郭卫斌华东理工大学信息科学与工程学院上海200237

在中文自动文本摘要中,暴露偏差是一个常见的现象。由于中文文本自动摘要在序列到序列模型训练时解码器每一个词输入都来自真实样本,但是在测试时当前输入用的却是上一个词的输出,导致预测词在训练和测试时是从不同的分布中推断出来的,... 详细信息

在中文自动文本摘要中,暴露偏差是一个常见的现象。由于中文文本自动摘要在序列到序列模型训练时解码器每一个词输入都来自真实样本,但是在测试时当前输入用的却是上一个词的输出,导致预测词在训练和测试时是从不同的分布中推断出来的,而这种不一致将导致训练模型和测试模型直接的差异。本文提出了一个两阶段对比学习框架以实现面向中文文本的生成式摘要训练,同时从摘要模型的训练以及摘要评价的建模进行对比学习。在大规模中文短文本摘要数据集(LCSTS)以及自然语言处理与中文计算会议的文本数据集(NLPCC)上的实验结果表明,相比于基线模型,本文方法可以获得更高的面向召回率的摘要评价方法(ROUGE)指标,并能更好地解决暴露偏差问题。

关键词：中文自动文本摘要对比学习暴露偏差预处理模型 ROUGE指标

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

单步片段标注的实体关系联合抽取模型

计算机工程与应用 2023年第9期59卷 130-139页

作者：郑肇谦韩东辰赵辉长春工业大学计算机科学与工程学院长春130012

关系抽取作为知识图谱等诸多领域的上游任务,具有广泛应用价值,近年来受到广泛关注。关系抽取模型普遍存在暴露偏差问题,抽取文本普遍存在实体嵌套和实体重叠问题,这些问题严重影响了模型性能。因此,提出了一种基于片段标注的实体关系... 详细信息

关系抽取作为知识图谱等诸多领域的上游任务,具有广泛应用价值,近年来受到广泛关注。关系抽取模型普遍存在暴露偏差问题,抽取文本普遍存在实体嵌套和实体重叠问题,这些问题严重影响了模型性能。因此,提出了一种基于片段标注的实体关系联合抽取模型(span-labeling based model,SLM),主要包括:将实体关系抽取问题转化为片段标注问题;使用滑动窗口和三种映射策略将词元(token)序列进行组合排列重新平铺成片段(span)序列;使用LSTM和多头自注意力机制进行片段深层语义特征提取;设计了实体关系标签,使用多层标注方法进行关系标签分类。在英文数据集NYT、WebNLG上进行实验,相对于基线模型F1值显著提高,验证了模型的有效性,能有效解决上述问题。

关键词：关系抽取联合抽取片段标注映射策略暴露偏差实体嵌套实体重叠

面向问题生成的预训练模型适应性优化方法研究

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2022年第3期36卷 91-100页

作者：苏玉兰洪宇朱鸿雨武恺莉张民苏州大学计算机科学与技术学院江苏苏州215006

问题生成的核心任务是“在给定上下文语境的前提下,对目标答案自动生成相应的疑问句”。问题生成是自然语言处理领域中富有挑战性的任务之一,其对可靠的语义编码和解码技术有着极高的要求。目前,预训练语言模型已在不同自然语言处理任... 详细信息

问题生成的核心任务是“在给定上下文语境的前提下,对目标答案自动生成相应的疑问句”。问题生成是自然语言处理领域中富有挑战性的任务之一,其对可靠的语义编码和解码技术有着极高的要求。目前,预训练语言模型已在不同自然语言处理任务中得到广泛应用,并取得了较好的应用效果。该文继承这一趋势,尝试将预训练语言模型UNILM应用于现有“基于编码和解码架构”的问题生成系统中,并集中在其适应性问题上开展研究。该文针对预训练模型在解码阶段频繁出现的“暴露偏差”和“掩码异构”问题,分别研究了基于随机抗噪和迁移学习的训练方法,借以提升UNILM在问题生成过程中的适应能力。同时,该文在SQuAD数据集上开展问题生成实验,实验结果证明,随机抗噪和迁移学习都能优化UNILM的解码性能,使之在答案可知场景的数据划分split1和split2上,分别将BLEU4指标提升到20.31%和21.95%;并在答案不可知场景的split1数据集上将BLEU4指标提升到17.90%。

关键词：问题生成暴露偏差问答数据集迁移学习

在线全文

学校读者我要写书评

暂无评论

基于生成对抗网络与多头注意力的文本隐写术

计算机工程与科学 2023年第10期45卷 1789-1796页

作者：黄瑶潘丽丽熊思宇蒋湘辉马俊勇中南林业科技大学计算机与信息工程学院湖南长沙410004

随着深度学习的发展,基于文本生成的隐写术取得了重大突破。现有基于文本生成的方法存在暴露偏差的问题,即训练阶段每个输入都来自真实样本标签,预测阶段的输入来自上一时刻预测的输出。训练和预测之间的输入样本差异会产生误差积累,使... 详细信息

随着深度学习的发展,基于文本生成的隐写术取得了重大突破。现有基于文本生成的方法存在暴露偏差的问题,即训练阶段每个输入都来自真实样本标签,预测阶段的输入来自上一时刻预测的输出。训练和预测之间的输入样本差异会产生误差积累,使得生成样本与真实样本分布相差过大。针对这个问题,提出了一种基于生成对抗网络和多头注意力的文本隐写术—TS-GANMA。首先,利用生成对抗网络训练文本生成器,通过多头注意力机制提取多头注意力得分参与奖惩模块的奖励计算,得到更适合生成器的反馈信息。随后,生成器与鉴别器进行对抗训练,能够解决暴露偏差的问题,优化文本生成模型。最后,对文本生成模型输出的条件概率分布进行编码,实现秘密信息嵌入。实验结果表明,在相同的嵌入率时,TS-GANMA隐写术与LSTM-vlc和ADG相比,隐写文本的困惑度有显著的降低,这是因为采用TS-GANMA进行文本隐写,生成的隐写文本与真实文本的统计分布更加拟合,生成的隐写文本质量更高。

关键词：文本隐写暴露偏差生成对抗网络多头注意力

基于Transformer的轨道不平顺与车体振动加速度关联模型研究

在线全文

学校读者我要写书评

暂无评论

基于Transformer的轨道不平顺与车体振动加速度关联模型研究

作者：常天星北京交通大学

学位级别：硕士

近十多年来我国高速铁路快速发展,随之而来长年的高密度运营对轨道结构产生了一定程度的磨损,使部分轨道处于不平顺状态,影响列车运行的平稳性和安全性。常规的轨检车检测轨道状态的方式耗时长且占用轨道运营资源,而高速列车行驶过轨道... 详细信息

近十多年来我国高速铁路快速发展,随之而来长年的高密度运营对轨道结构产生了一定程度的磨损,使部分轨道处于不平顺状态,影响列车运行的平稳性和安全性。常规的轨检车检测轨道状态的方式耗时长且占用轨道运营资源,而高速列车行驶过轨道时的车体振动加速度容易测量。如能建立起轨道不平顺与车体振动加速度响应间的关联模型,由车体振动加速度响应估计轨道不平顺可以节省大量人力和物力资源,由轨道不平顺估计车体振动加速度响应可以辅助评估轨道状态,对铁路检测养护具有重要意义。为此,本文应用自然语言处理领域当前最有效的Transformer网络建立关联模型,提出了针对本课题特点的改进策略。本文主要内容包括:(1)建立基于Transformer Encoder网络的轨道高低不平顺估计模型。为解决直接应用Transformer Encoder网络建模精度低的问题,提出了输入维度扩增策略。为提高估计的精度,应用了多头掩码注意力机制。与基于LSTM网络和GRU系列网络的对照网络相比,在国内高速铁路实测数据集上,本文提出的轨道高低不平顺估计模型在不显著增加模型参数量的情况下,使高低不平顺和长波高低不平顺平均绝对误差分别下降了11.2%和9.30%,相关系数ρ分别从0.931提升至0.946和从0.906提升至0.922。(2)建立基于Transformer网络的车体振动加速度估计模型。为解决估计模型难以有效进行Decoder Embedding的问题,设计了针对本课题的一种有效的Decoder Embedding方案。为解决模型训练过程中出现的Exposure bias问题,采用了Scheduled Sampling for Transformers训练方案。与基于LSTM网络和GRU系列网络的对照网络及本文提出的Transformer Encoder网络相比,在国内高速铁路实测数据集上,本文搭建的Transformer网络提高了车体振动加速度的估计精度,垂向、横向车体振动加速度的平均绝对误差分别下降了7.21%和2.92%,相关系数ρ分别从0.791提升至0.820和从0.733提升至0.746。

关键词：轨道不平顺车体振动加速度 Transformer 多头掩码注意力机制暴露偏差

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的中文实体关系抽取研究

基于深度学习的中文实体关系抽取研究

作者：郑肇谦长春工业大学

学位级别：硕士

随着互联网技术不断发展和海量数据不断涌现,如何从海量非结构化数据中提取有用的结构化信息成为现阶段的研究热点,关系抽取应运而生。关系抽取作为上游提供基础数据的技术,在下游诸多领域都具有重要的应用价值,如知识图谱、语义理解、... 详细信息

随着互联网技术不断发展和海量数据不断涌现,如何从海量非结构化数据中提取有用的结构化信息成为现阶段的研究热点,关系抽取应运而生。关系抽取作为上游提供基础数据的技术,在下游诸多领域都具有重要的应用价值,如知识图谱、语义理解、推荐检索、机器翻译和智能问答等。近几年,深度学习模型已经成为关系抽取的最先进方法,现有的工作也取得了相当大的成果,但还存在实体嵌套、关系重叠、暴露偏差等问题,严重影响了关系抽取模型的精度,本文从解决上述问题的角度出发,提出了两种实体关系联合抽取模型,主要工作内容包括如下几个方面:1.针对现有实体关系抽取方法中存在的实体嵌套问题,区别于原有基于词元(Token)进行关系抽取的思路,采用基于片段(Span)的思路进行关系抽取,并且设计和使用滑动窗口和三种映射策略将词元序列进行组合排列重新平铺成片段序列。2.针对现有实体关系抽取方法中存在的暴露偏差和关系重叠等问题,提出了一种基于片段多头选择的实体关系联合抽取方法(Span based Multi Head Selection,SMHS),将实体关系抽取转化为片段级的多头关系选择问题。首先通过片段标记器、片段嵌入的方式构造片段语义向量,结合所提出的片段映射策略将原本的词元序列转化为片段序列,然后利用LSTM、多头自注意力机制进行片段特征提取,最后使用多头选择机制进行片段级关系解码且引入片段分类任务辅助训练,单步解码出关系三元组。3.针对SMHS时间复杂度较大,推理速度较慢,提出了一种基于片段标注的实体关系联合抽取模型(Span-Labeling Based Model,SLM),将实体关系抽取问题转化为片段标注问题。首先同样地通过将词元向量转化为片段语义向量,结合片段映射策略将词元序列转化为片段序列,然后利用GRU、多头自注意力机制进行片段特征抽取,最后利用精心设计的片段关系标签进行关系标签分类,单步解码出关系三元组。4.基于权威中文关系抽取数据集Du IE2.0进行实验,且重新对数据集的标注形式进行修改。为验证模型性能,选取了当前主流的关系抽取模型进行对比实验;为验证所提出模块的有效性,进行消融实验;为探究模型参数对模型的影响,进行影响因素实验。实验表明,本文所提出的两个模型取得了比当前主流抽取方法更好的效果;所提出模块对模型性能确有提升作用;确定了相关参数对模型的潜在影响,验证了模型的有效性和优越性。两个模型比较而言,SMHS的精度较SLM高,但SLM在时间空间复杂度和推理速度方面占据优势。

关键词：关系抽取联合抽取片段抽取暴露偏差关系重叠

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的文本生成研究综述

天津科技大学学报 2022年第2期37卷 71-80页

作者：赵婷婷宋亚静李贵喜王嫄陈亚瑞任德华天津科技大学人工智能学院天津300457

文本生成任务需要对大量词汇或语句进行表征,且可将其建模为序列决策问题.鉴于深度强化学习(deep reinforcement learning,DRL)在表征及决策方面的优良性能,DRL在文本生成任务中发挥了重要的作用.基于深度强化学习的文本生成方法改变了... 详细信息

文本生成任务需要对大量词汇或语句进行表征,且可将其建模为序列决策问题.鉴于深度强化学习(deep reinforcement learning,DRL)在表征及决策方面的优良性能,DRL在文本生成任务中发挥了重要的作用.基于深度强化学习的文本生成方法改变了以最大似然估计为目标的训练机制,有效解决了传统方法中存在的暴露偏差问题.此外,深度强化学习和生成对抗网络的结合进一步提高了文本生成质量,并已取得了显著的成果.本综述将系统阐述深度强化学习在文本生成任务中的应用,介绍经典模型及算法,分析模型特点,探讨未来深度强化学习与文本生成任务融合的前景和挑战.

关键词：深度强化学习自然语言生成暴露偏差生成对抗网络