检索结果-南通市图书馆

检索条件"主题词=两级特征增强"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于特征增强的机器阅读理解模型的研究及应用

基于特征增强的机器阅读理解模型的研究及应用

引用

作者：王舒怡东华大学

学位级别：硕士

机器阅读理解（Machine Reading Comprehension）在自然语言处理领域是一项具有挑战性的任务。随着自然语言处理理论与技术的快速发展,如何做好机器阅读理解也逐渐成为学术与工业的研究热点之一。机器阅读理解需要机器能够根据给定的上... 详细信息

机器阅读理解（Machine Reading Comprehension）在自然语言处理领域是一项具有挑战性的任务。随着自然语言处理理论与技术的快速发展,如何做好机器阅读理解也逐渐成为学术与工业的研究热点之一。机器阅读理解需要机器能够根据给定的上下文文本,来回答出人们向机器提出的问题。通过机器阅读理解模型的评价标准,可以看出现如今机器对自然语言的理解程度。尽管机器阅读理解模型的发展越来越快,甚至于在某些特定的任务集上,其效果十分接近人为回答问题的准确率,但其仍然存在一些问题,比如:1)人在回答问题时,可以很好的运用过往积累的知识,甚至可以举一反三,而机器在无外部知识的支撑下,只能局限于所提供的上下文文本来回答问题;2)实际应用领域的数据少,无法直接通过大样本训练,获得性能较好的模型;3)目前机器阅读理解模型获得的答案错误较多,还无法直接进行应用。本文针对以上三个问题进行探索研究,首先提出基于两级特征增强的机器阅读理解模型TLE-BERT来提高模型回答问题的准确率;接着采用小样本迁移学习的训练方法使模型能够应用于小样本的领域;最后针对公共服务问答服务的需求,设计实现了基于TLE-BERT阅读理解的问答原型系统。本文的主要贡献如下:（1）提出两级特征增强的机器阅读理解模型TLE-BERT。通过对预训练语言模型BERT在阅读理解任务的结果进行分析,发现BERT的嵌入表示虽具有丰富的上下文信息,但缺少对阅读理解更重要的语义和句法信息。本文从token级别和sentence级别分别增强文本嵌入表示。在token级别,通过哨兵机制将外部的特征（例如词性,实体类型,名词短语）以及外部的知识（例如同义词）添加到每个token的BERT嵌入表示中;在sentence级别,通过多头注意力机制将句子的依存关系作为语法结构引入到文本的嵌入表示中。实验表明,每个外部特征都可以在不同的程度上提高模型的性能,而有机的结合了所有特征的TLE-BERT更好的增强了文本表征能力,在主流英文数据集中阅读理解的性能获得了提升。（2）提出机器阅读理解的小样本迁移学习模式。由于实际应用领域的文档数据规模小,人工标注成本高,通常训练数据集不足以支撑基于BERT大规模语言模型的任务训练,本文采用“无标注样本预训练→有标注样本预训练→应用领域模型微调”的小样本迁移学习的模式。通过该方式本文将在大样本中文公共语料上训练的TLE-BERT模型成功迁移到公共服务领域。实验表明,进行迁移学习后的TLEBERT模型的性能得到了显著提升。（3）设计实现了基于阅读理解模式构建的公共服务问答原型系统。本文首先开发了阅读理解数据标注平台,获得领域样本数据,训练公共服务领域的抽取式TLE-BERT模型;在深入理解公共服务问答需求的基础上,根据抽取式阅读理解的特性,设计了问答预判流程,对于模型无法回答的问题作出合理处理及引导,以获得较好反馈效果。系统可以通过网页端和机器人端对外提供问答服务。

关键词：抽取式阅读理解两级特征增强注意力机制公共服务

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：