检索结果-南通市图书馆

检索条件"主题词=Adapters模块"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

预训练模型与adapters结合的命名实体识别方法研究

预训练模型与Adapters结合的命名实体识别方法研究

引用

作者：王嘉言吉林大学

学位级别：硕士

在自然语言处理（Natural Language Processing,NLP）领域中,命名实体识别（Named Entity Recognition,NER）是核心问题之一。从经典机器学习、深度学习再到如今的预训练模型方法,命名实体识别经历的三大发展浪潮也映射了NLP的不同发展... 详细信息

在自然语言处理（Natural Language Processing,NLP）领域中,命名实体识别（Named Entity Recognition,NER）是核心问题之一。从经典机器学习、深度学习再到如今的预训练模型方法,命名实体识别经历的三大发展浪潮也映射了NLP的不同发展阶段。经典机器学习方法如HMM和CRF等,虽然在一些数据集上的实体识别取得了很好的效果,但由于模型经常使用不恰当的生成概率进行命名实体识别,因此应用范围受限。以LSTM为代表的深度学习方法依赖于语义的学习,文本序列进入模型前首先需要经过嵌入层,这层网络层将序列映射成词嵌入向量。然后模型才能够依靠神经网络的非线性拟合能力,学习从样本到标注的函数,并使用此函数来预测指定样本的每个标注。于是ELMo、BERT等预训练模型应运而生。预训练模型旨在有效的表示文本。它通过模型内部的任务训练模型学习文本中的语义,并获得词嵌入向量表示。为了提升Bi LSTM-CRF模型在NER上的性能,本文对其进行扩展,引入轻量级BERT模型ALBERT,提出一种全新的ALBERT-Bi LSTM-CRF模型（ABC）。ABC模型中,ALBERT可以根据上下文语义,生成带有特征的词嵌入向量,然后将词嵌入向量传递给Bi LSTM模型进行实体识别,CRF层对标注的序列进行约束优化,与Bi LSTM层进行共同解码,从而提升NER的准确性。预训练模型带来的变革效果不言而喻。它通过与不同下游模型的结合,能够解决NLP领域中不同类型问题。过去一个模型解决一个问题的时代一去不复返。但预训练模型同时也带来很多问题,如模型规模巨大、参数量大以及连接下游模型以后更大的调参量等,这些都为训练模型带来了时间和空间消耗大的问题。为解决以上问题,本文继续对ABC模型进行扩展,引入adapters模块,提出全新的adapters-ALBERT-Bi LSTM-CRF（AABC）模型。与ABC模型不同的是,AABC模型使用adapters模块对整体模型进行调参。adapters模块在模型训练阶段不变,仅在调参阶段对adapters模块中的参数进行调节。为验证综合调参量的降低,本文在NER的基础上增加了情感分析（Sentiment Analysis,SA）和自然语言推理（Natural Language Inference,NLI）两种自然语言处理领域的重要任务。实验结果显示,AABC模型在3个命名实体公开数据集上达到良好的效果;在1个情感分析数据集和4个自然语言推理数据集上均达到最优效果。在NER数据集上最高可提升8%的F1值。在SNLI数据集上,AABC的参数量与BERT-BC模型相比较,最多降低97%。综上所述,AABC模型结合了经典机器学习、深度学习和预训练模型三种方法的优点,是一种很有潜力的分类模型。同时,命名实体识别是知识图谱构建中的重要步骤之一。除命名实体识别之外,知识图谱构建的重要步骤还包括实体链接、关系抽取等。因此,为验证AABC模型在命名实体识别中的实际效果,本文将AABC模型作为模块之一应用于小规模医疗疾病领域构建,并通过概率模型计算实现简单问答操作,最后连接图数据库Neo4j进行可视化。

关键词：预训练模型命名实体识别 ALBERT-BiLSTM-CRF adapters模块知识图谱

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：