检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向抽取式阅读理解的数据增强研究

软件导刊 2024年第6期23卷 32-37页

作者：胡新荣徐伟罗瑞奇刘军平朱强杨捷李立军武汉纺织大学计算机与人工智能学院湖北省服装信息化工程技术研究中心湖北武汉430200 伍伦贡大学计算机与信息技术学院伍伦贡2522 宁波慈星股份有限公司浙江宁波315000

在抽取式阅读理解中,语言模型在训练数据较少情况下的表现不佳,使用EDA方法虽能有效增加数据量,但会造成数据中语义信息损失,导致模型训练效果不佳。针对上述问题,结合EDA提出面向少样本情况下抽取式阅读理解的数据增强方法,在保留数据... 详细信息

在抽取式阅读理解中,语言模型在训练数据较少情况下的表现不佳,使用EDA方法虽能有效增加数据量,但会造成数据中语义信息损失,导致模型训练效果不佳。针对上述问题,结合EDA提出面向少样本情况下抽取式阅读理解的数据增强方法,在保留数据中问题正确答案的前提下对数据进行单词级和句子级数据增强。同时,为了对句子语义影响最小的单词进行数据增强,使用基于语义相似度的数据增强方法(DASS)计算句子中某一个单词删除前后的语义相似度,以判断该单词对句子语义的影响,选择对语义影响最小的单词进行数据增强,提升训练数据质量,以提升语言模型鲁棒性。在HotpotQA数据集上的实验结果表明,DASS可以解决模型在样本数量较少时获取语义信息不足的问题,在样本数量为500时,模型预测的F1值提升23.94%,在对整个数据集使用该方法时,模型预测的F1值提升了2.54%。

关键词：抽取式阅读理解 EDA 数据增强语义相似度机器阅读理解

面向文本阅读理解的混淆答案对抗训练和多答案抽取

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向文本阅读理解的混淆答案对抗训练和多答案抽取

作者：何东四川大学

学位级别：硕士

面向文本的抽取式阅读理解是自然语言处理的重要任务,它要求机器从给定的文本中抽取连续片段作为给定问题的答案。为了贴合实际应用场景,现有研究逐步从单片段有答案阅读理解发展到含有无答案问题的单答案阅读理解,再到包含多答案的多... 详细信息

面向文本的抽取式阅读理解是自然语言处理的重要任务,它要求机器从给定的文本中抽取连续片段作为给定问题的答案。为了贴合实际应用场景,现有研究逐步从单片段有答案阅读理解发展到含有无答案问题的单答案阅读理解,再到包含多答案的多答案类型阅读理解。现有的单答案阅读理解模型在输入文本中含有似是而非文本片段时,容易将其误认为问题答案,从而错误判断问题的可回答性。现有的多答案类型抽取式阅读理解模型一视同仁的对待所有答案类型的训练样例,使用序列标注方法从中抽取答案片段,但序列标注方法对单答案训练样例抽取效果有限,并且容易从无答案训练样例中抽取出无关片段,影响模型抽取效果。针对上述问题,本文的主要研究工作和创新如下:第一,针对现有的含有无答案问题的单答案抽取式阅读理解研究忽略了混淆答案作用的问题,本文提出了基于对抗样本排序的抽取式单答案阅读理解模型。该模型将数据集中含有混淆答案的训练样例作为正常训练样例的对抗样本进行对抗训练。利用对抗样本和正常样本有着相近的片段边界的特点,将对抗样本作为模型答案抽取任务的正例,提高模型的边界判断能力;同时对抗样本也作为模型无答案问题判别任务的负例,帮助模型提高判别准确率。本文在公开数据集SQu AD2.0上进行对比实验,结果表明,本文方法可以有效提高现有阅读理解模型效果。第二,针对现有多答案类型抽取式阅读理解模型抽取结果含有无关片段的问题,本文提出了基于答案验证的抽取式多答案阅读理解模型。本文模型在输入时,先对训练样例进行答案类型判别,依据判别结果选用单答案抽取器或其他答案抽取器进行答案抽取,提升模型整体的抽取效果。同时,本文还受单答案阅读理解相关工作启发,利用额外的答案验证模型对候选答案片段进行逐个验证,判断其作为当前训练样例答案的合理性,通过合理性移除无关片段提升模型抽取质量。本文在公开数据集Mulit Span QA＿expand上进行了一系列对比消融实验,结果表明,本文模型的答案质量明显优于其他模型,各项评价指标均优于当前SOTA。

关键词：文本阅读理解抽取式阅读理解单答案多答案不可回答问题

基于特征增强的机器阅读理解模型的研究及应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征增强的机器阅读理解模型的研究及应用

作者：王舒怡东华大学

学位级别：硕士

机器阅读理解（Machine Reading Comprehension）在自然语言处理领域是一项具有挑战性的任务。随着自然语言处理理论与技术的快速发展,如何做好机器阅读理解也逐渐成为学术与工业的研究热点之一。机器阅读理解需要机器能够根据给定的上... 详细信息

机器阅读理解（Machine Reading Comprehension）在自然语言处理领域是一项具有挑战性的任务。随着自然语言处理理论与技术的快速发展,如何做好机器阅读理解也逐渐成为学术与工业的研究热点之一。机器阅读理解需要机器能够根据给定的上下文文本,来回答出人们向机器提出的问题。通过机器阅读理解模型的评价标准,可以看出现如今机器对自然语言的理解程度。尽管机器阅读理解模型的发展越来越快,甚至于在某些特定的任务集上,其效果十分接近人为回答问题的准确率,但其仍然存在一些问题,比如:1)人在回答问题时,可以很好的运用过往积累的知识,甚至可以举一反三,而机器在无外部知识的支撑下,只能局限于所提供的上下文文本来回答问题;2)实际应用领域的数据少,无法直接通过大样本训练,获得性能较好的模型;3)目前机器阅读理解模型获得的答案错误较多,还无法直接进行应用。本文针对以上三个问题进行探索研究,首先提出基于两级特征增强的机器阅读理解模型TLE-BERT来提高模型回答问题的准确率;接着采用小样本迁移学习的训练方法使模型能够应用于小样本的领域;最后针对公共服务问答服务的需求,设计实现了基于TLE-BERT阅读理解的问答原型系统。本文的主要贡献如下:（1）提出两级特征增强的机器阅读理解模型TLE-BERT。通过对预训练语言模型BERT在阅读理解任务的结果进行分析,发现BERT的嵌入表示虽具有丰富的上下文信息,但缺少对阅读理解更重要的语义和句法信息。本文从token级别和sentence级别分别增强文本嵌入表示。在token级别,通过哨兵机制将外部的特征（例如词性,实体类型,名词短语）以及外部的知识（例如同义词）添加到每个token的BERT嵌入表示中;在sentence级别,通过多头注意力机制将句子的依存关系作为语法结构引入到文本的嵌入表示中。实验表明,每个外部特征都可以在不同的程度上提高模型的性能,而有机的结合了所有特征的TLE-BERT更好的增强了文本表征能力,在主流英文数据集中阅读理解的性能获得了提升。（2）提出机器阅读理解的小样本迁移学习模式。由于实际应用领域的文档数据规模小,人工标注成本高,通常训练数据集不足以支撑基于BERT大规模语言模型的任务训练,本文采用“无标注样本预训练→有标注样本预训练→应用领域模型微调”的小样本迁移学习的模式。通过该方式本文将在大样本中文公共语料上训练的TLE-BERT模型成功迁移到公共服务领域。实验表明,进行迁移学习后的TLEBERT模型的性能得到了显著提升。（3）设计实现了基于阅读理解模式构建的公共服务问答原型系统。本文首先开发了阅读理解数据标注平台,获得领域样本数据,训练公共服务领域的抽取式TLE-BERT模型;在深入理解公共服务问答需求的基础上,根据抽取式阅读理解的特性,设计了问答预判流程,对于模型无法回答的问题作出合理处理及引导,以获得较好反馈效果。系统可以通过网页端和机器人端对外提供问答服务。

关键词：抽取式阅读理解两级特征增强注意力机制公共服务

基于离散提示学习表征的中文开放域问答的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于离散提示学习表征的中文开放域问答的研究

作者：闫振北京邮电大学

学位级别：硕士

随着互联网上的文字信息日益繁杂,即使有搜索引擎的帮助,人们在互联网中获取所需信息也愈发困难。近年来,凭借机器学习的高速发展,实现开放域问答任务成为可能。开放域问答是指在没有特定上下文的情况下回答一个自然语言形式的问题。因... 详细信息

随着互联网上的文字信息日益繁杂,即使有搜索引擎的帮助,人们在互联网中获取所需信息也愈发困难。近年来,凭借机器学习的高速发展,实现开放域问答任务成为可能。开放域问答是指在没有特定上下文的情况下回答一个自然语言形式的问题。因为现有英文研究缺少针对中文的特殊设计,所以直接沿用英文系统存在准确率损失。现阶段开放域问答主要集中在两阶段模型的研究。然而现有稠密向量检索模型的泛化性能有待增强;现有抽取式阅读模型的健壮性能有待提高。本文为解决以上问题,重点研究中文开放域问答的泛化性与健壮性,结合离散提示学习方法,进行了如下工作:(1)针对现有的相关数据集不能满足开放域问答要求的问题,构建了一个完备的中文开放域问答数据集DYKzh。统计分析得知,数据集检索复杂度进一步提高,有助于评价检索模型的泛化性;数据集阅读理解任务较为复杂,有助于评价阅读模型的健壮性。(2)针对检索模型泛化性挑战,提出基于片段蒙版提示模板的中文稠密向量检索模型(Span Prompt Dense Passage Retrieval,SPDPR)。该模型提出更符合中文词法结构的片段蒙版提示模板,并在孪生模型中采用权重共享策略。模型的检索准确率在DYKzh数据集上优于多个现有方法。(3)针对阅读模型健壮性挑战,提出融合多文关系的中文抽取式阅读模型(Multiple Passage Relation Reader,MPRR)。该模型提出融合多文关系层,并在阅读模型中采用平衡训练策略。模型的阅读准确率在DYKzh数据集上优于现有阅读模型。(4)综上,设计了中文开放域问答系统。通过开放域问答系统的实际应用可以直观展现上述模型。应用结果可以对模型进行高效的评价,并有助于模型快速迭代,为系统的大规模部署提供有效参考。

关键词：自然语言处理开放域问答稠密向量检索抽取式阅读理解离散提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向对外汉语教学的自动文本理解研究

面向对外汉语教学的自动文本理解研究

作者：闫英杰郑州大学

学位级别：硕士

随着国家文化软实力的提升,以汉语作为第二语言的学习者越来越多,对外汉语教学相关的文本随之增加,通过自动文本理解可以减少对外汉语教学的文本处理工作。在听、说、读、写四项语言技能教学中,写和读是汉语第二语言学习者的难点,需要... 详细信息

随着国家文化软实力的提升,以汉语作为第二语言的学习者越来越多,对外汉语教学相关的文本随之增加,通过自动文本理解可以减少对外汉语教学的文本处理工作。在听、说、读、写四项语言技能教学中,写和读是汉语第二语言学习者的难点,需要对文本更规范、更深层的理解。针对写作语法和篇章阅读两个教学难点,以自动检查语法和获取阅读理解答案及解析为应用目标,对语法偏误自动识别和抽取式阅读理解进行研究,主要完成的工作有:(1)基于RoBERTa的语法偏误自动识别。针对语法偏误自动识别任务中识别偏误难的问题,提出RoBERTa-BiLSTM-CRF模型。RoBERTa预训练模型进行词向量表示,BiLSTM模块进一步学习偏误语句中的语义特征,CRF层根据全局特征预测出最优的偏误标签序列。在识别语句是否存在语法偏误、识别偏误语句中偏误的类型和识别偏误语句中偏误的位置三个子任务中,该模型比基线模型BERT-CRF的F1值分别高1.88%、4.19%和4.65%。通过实验对比与分析,表明RoBERTa-BiLSTM-CRF模型自动识别语法偏误的有效性。(2)基于对抗训练的抽取式阅读理解。由于缺乏面向对外汉语教学的抽取式阅读理解数据集,从汉语水平考试(Hanyu Shuiping Kaoshi,HSK)的试题文本入手,结合试题特点,制定详细的标注规范,经过人工标注,构建了抽取式阅读理解数据集HSKReader,标注一致性达到了87.52%。HSKReader包含1379个(篇章,问题,答案)三元组数据,为面向对外汉语教学的抽取式阅读理解研究提供数据基础。针对抽取式阅读理解的篇章中存在干扰性答案的问题,提出基于RoBERTa对抗训练方法。通过快速梯度法和投影梯度下降两种对抗训练方法产生扰动,添加到词向量中生成对抗样本,调整RoBERTa模型的参数,预测答案在篇章中的起止位置。添加对抗训练方法后,RoBERTa模型在HSKReader、CMRC2018和PDu Readerchecklist数据集的EM和F1值分别提升了4.78%和4.51%、0.54%和0.76%、1.49%和0.42%。通过实验对比分析,表明对抗训练方法在抽取式阅读理解任务中的有效性。(3)对外汉语辅助学习平台的构建。以RoBERTa-BiLSTM-CRF模型和基于RoBERTa对抗训练方法为基础开发对外汉语辅助学习平台(Hanyu Writing and Reading,Han WR)。Han WR包括语法检查、阅读理解练习、易错词学习和扩展阅读模块,辅助汉语第二语言学习者学习写作和阅读,帮助汉语第二语言学习者提升汉语文本理解能力。

关键词：对外汉语教学语法偏误自动识别 RoBERTa模型抽取式阅读理解对抗训练