检索结果-南通市图书馆

Leveraging Continuous prompt for Few-Shot Named Entity Recognition in Electric Power Domain with Meta-Learning

Data Intelligence 2023年第2期5卷 494-509页

作者： Yang Yu Wei He Yu-meng Kang You-lang Ji Metrology Center State Grid Jiangsu Market Service Center Nanjing Jiangsu 210019China

Conventional named entity recognition methods usually assume that the model can be trained with sufficient annotated data to obtain good recognition results.However,in Chinese named entity recognition in the electric power domain,existing methods still face the challenges of lack of annotated data and new entities of unseen types.To address these challenges,this paper proposes a meta-learning-based continuous cue adjustment method.A generative pre-trained language model is used so that it does not change its own model structure when dealing with new entity types.To guide the pre-trained model to make full use of its own latent knowledge,a vector of learnable parameters is set as a cue to compensate for the lack of training data.In order to further improve the model's few-shot learning capability,a meta-learning strategy is used to train the model.Experimental results show that the proposed approach achieves the best results in a few-shot electric Chinese power named entity recognition dataset compared to several traditional named entity approaches.

关键词： Named Entity Recognition Pre-trained model prompt-tuning Meta-Learning Few-Shot

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

面向半结构化和非结构化文本的知识图谱自动构建与应用

面向半结构化和非结构化文本的知识图谱自动构建与应用

引用

作者：刘同阳内蒙古大学

学位级别：硕士

近年来,政府和企业越来越注重对数据进行理解、分析和总结,但是由于数据规模庞大、类型繁杂、整理及维护成本高等问题,大部分数据的显性知识和共性问题不能被充分挖掘和分析,办公人员难以全面高效的工作。构建知识图谱可以达到对大规模... 详细信息

近年来,政府和企业越来越注重对数据进行理解、分析和总结,但是由于数据规模庞大、类型繁杂、整理及维护成本高等问题,大部分数据的显性知识和共性问题不能被充分挖掘和分析,办公人员难以全面高效的工作。构建知识图谱可以达到对大规模数据挖掘和管理需求。基于半结构化和非结构化文本的三元组自动抽取是构建知识图谱核心,其中包含两个子任务:命名实体识别,关系抽取。本文工作主要包括以下三个方面:(1)对于中文实体识别任务,本文提出基于置信度估计的动态词汇增强模型(Dynamic lexicon enhance model for confidence estimation,DLECE)。首先使用知识增强预训练语言模型用于解决中文分词错误、一词多义和文本语义表征不足等问题。然后针对字符序列标注模型存在词法语义丢失问题,设计了词汇增强层,利用中文词库无损引入词汇内部语义信息。同时,采用注意力机制动态去除词汇增强集噪声。最后,本文提出全局和局部两种标签置信度估计方法,解决模型在错标和漏标数据集训练效果差的问题。在两份中文数据集实验表明,DLECE不仅在原始数据集的F1值达到了92.04%/86.03%,而且在带噪数据集上的F1值达到了89.22%/81.38%,均优于其他对比模型。(2)对于中文关系抽取任务,本文提出基于prompt的多粒度知识增强关系抽取模型(prompt-based ERNIE-Gram for relation extraction,prompt-ERNIE-Gram)。首先使用多粒度知识增强模型解决字符和N-Gram语义表征不足等问题。然后为了解决prompt-tuning范式无法直接迁移关系抽取任务问题,构建推理模板库进行模型输入输出适配。同时,利用中文近义词库解决模型在通用域泛化性差的问题。最后,提出使用词汇表达器用于将模型预测结果映射至标签集合中,不仅有效提升模型召回率,还去除了近义词库噪声。在两份中文数据集实验表明,prompt-ERNIE-Gram取得了最好结果,F1值分别是96.76%和96.32%。(3)本文搭建了基于知识图谱的生活服务智能问答系统。首先,使用本文提出的DLECE和prompt-ERNIE-Gram从八千万条半结构化与非结构化文本中自动抽取出三元组。然后,与开源生活服务知识图谱进行融合,构建出包含三千五百万节点的大规模中文生活服务知识图谱。同时,将图谱储存至Neo4j图数据库后利用Graph XR进行展示。最后基于知识图谱搭建了生活服务智能问答系统,能够回答各类实际生活场景中的复杂问题。

关键词：实体识别关系抽取词汇增强 prompt-tuning 智能问答

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：