检索结果-南通市图书馆

融合ernie与知识增强的临床短文本分类研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2024年

作者：温浩杨洋西安建筑科技大学信息与控制工程学院

本文提出一种引入专业医疗知识与文本独特知识的ernie模型用于识别无规则的临床短文本。目前ernie模型具有一定的医疗领域知识，但是在处理下游任务时无法引入专业医疗知识与文本独特知识，因此为提高临床短文本分类的精确度与效率本文... 详细信息

本文提出一种引入专业医疗知识与文本独特知识的ernie模型用于识别无规则的临床短文本。目前ernie模型具有一定的医疗领域知识，但是在处理下游任务时无法引入专业医疗知识与文本独特知识，因此为提高临床短文本分类的精确度与效率本文提出KW-ernie-BiGRU模型。该模型通过引入医学知识与文本独特知识的ernie模型训练文本的特征向量，利用BiGRU强化上下文信息，最终在输出层进行文本分类。通过在真实的临床文本的验证与对比试验，KW-ernie-BiGRU模型的精确率、召回率、宏F1分别为93.4%、92.1%、92.7%，均优于其他模型。

关键词：深度学习知识图谱 ernie 语义强化临床短文本分类

基于ernie-BiGRU-Attention-CRF的电子病历命名实体识别方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

医学信息学杂志 2024年第5期45卷 76-82,100页

作者：王正芳张军亮李小倩于月陈慧媜新乡医学院卫生健康管理学院新乡453003 新乡医学院卫生信息资源研究中心新乡453003

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ernie-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ernie1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获... 详细信息

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ernie-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ernie1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。

关键词：命名实体识别 ernie 双向门控循环神经网络注意力机制条件随机场

基于ernie-RCNN梅花研究信息文本分类方法

在线全文

学校读者我要写书评

暂无评论

东北农业大学学报 2022年第5期53卷 20-31页

作者：付红萍陈恺之陈志泊北京林业大学信息学院北京100083 国家林业草原林业智能信息处理工程技术研究中心北京100083

采用文本分类方法对梅花中文语料按研究方向(基因、育种、非生物胁迫等)进行分类,是构建梅花知识图谱的重要预处理过程,也是对基于以上研究方向的梅花研究信息进行相关语义检索、智能问答等的重要基础。为探究文本分类方法应用于梅花研... 详细信息

采用文本分类方法对梅花中文语料按研究方向(基因、育种、非生物胁迫等)进行分类,是构建梅花知识图谱的重要预处理过程,也是对基于以上研究方向的梅花研究信息进行相关语义检索、智能问答等的重要基础。为探究文本分类方法应用于梅花研究信息的可行性,提出基于改进ernie-RCNN的梅花研究信息文本分类方法。针对缺乏梅花研究信息数据集导致常用文本分类方法分类效果不佳的问题,构建包含6个研究方向的中文梅花研究信息文本数据集;针对传统分类模型的编码机制难以体现文本逻辑性、语义还原不精确的问题,引入预训练模型ernie对文本进行编码,在编码过程中增强对文本特征提取与语义表示的能力;为更好保留文本词序及特征,提高分类正确性,在ernie模型编码基础上融合TextRCNN模型进行分类,改进TextRCNN模型卷积层丢弃率,增强分类模型泛化性,提高分类能力。通过对改进ernie-RCNN模型与仅改进ernie的ernie-RCNN模型、原始ernie-RCNN模型、ernie模型、BERT模型以及TextRCNN模型进行对比,试验结果表明,改进ernie-RCNN模型在不同评价指标上均高于其他模型,精准率、召回率和F1值分别不小于91.53%、90.27%、92.35%,正确率为95.35%。基于改进ernie-RCNN的梅花研究信息文本分类方法可满足实际需要。

关键词：梅花研究信息文本分类 ernie TextRCNN 深度学习

融合ernie和注意力机制的中文关系抽取模型

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2022年第6期43卷 1226-1231页

作者：李天昊霍其润闫跃徐远超首都师范大学信息工程学院北京100048

关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ernie预训练模型和注意力机制的TEXTCNN中文关系... 详细信息

关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ernie预训练模型和注意力机制的TEXTCNN中文关系抽取模型.ernie词向量针对中文的特点以词组为单位做掩盖进行模型训练,实现了对中文文本更好的语义表达,再通过TEXTCNN模型对输入数据进行特征提取,融合注意力机制聚焦于影响最终结果的关键特征,从而实现特征优化提取.本文在百度发布的SKE数据集上进行实验,重点探索ernie模型结合注意力机制对中文文本的特征表达效果,结果表明本文模型可以更好地学习中文文本中的特征并用于关系抽取,有效提高关系抽取任务的准确率.

关键词： ernie TEXTCNN 注意力机制关系抽取中文文本

基于ernie+DPCNN+BiGRU的农业新闻文本分类

在线全文

学校读者我要写书评

暂无评论

计算机应用 2023年第5期43卷 1461-1466页

作者：杨森淇段旭良肖展郎松松李志勇四川农业大学信息工程学院四川雅安625014 四川农业大学农业信息工程实验室四川雅安625014

针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ernie(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首... 详细信息

针对农业新闻目前面临的针对性差、分类不清和数据集缺乏等问题,提出一种基于ernie(Enhanced Representation through kNowledge IntEgration)、深度金字塔卷积神经网络(DPCNN)和双向门控循环单元(BiGRU)的农业新闻分类模型——EGC。首先利用ernie对数据集进行编码,然后利用改进后的DPCNN和BiGRU同时提取新闻文本的特征,再将两者提取的特征进行拼合并经过Softmax得到最终结果。为了使EGC模型适用于农业新闻分类领域,对DPCNN进行改进,减少它的卷积层以保留更多特征。实验结果表明,与ernie相比,EGC模型的精确率、召回率和F1分数别提升了1.47、1.29和1.42个百分点,优于传统分类模型。

关键词：新闻文本分类农业工程 ernie 深度金字塔卷积神经网络双向门控循环单元

基于分层ernie模型的中文嵌套命名实体识别

在线全文

学校读者我要写书评

暂无评论

东北师大学报（自然科学版） 2023年第1期55卷 97-103页

作者：贾李睿智刘胜全刘源魏富源孔博王光耀新疆大学信息科学与工程学院新疆乌鲁木齐830046

近年来中文嵌套命名实体识别的相关研究进展缓慢,BERT和RoBERTa等预训练模型在处理中文语言时,导致模型只能学习到不完整的语义表示.针对以上两个问题,首先使用现有的中文命名实体基准语料库ACE2004和ACE2005,依照原始语料的中心词和外... 详细信息

近年来中文嵌套命名实体识别的相关研究进展缓慢,BERT和RoBERTa等预训练模型在处理中文语言时,导致模型只能学习到不完整的语义表示.针对以上两个问题,首先使用现有的中文命名实体基准语料库ACE2004和ACE2005,依照原始语料的中心词和外延的关系自动构造嵌套命名实体;然后使用分层ernie模型在构建好的中文语料库上进行中文嵌套命实体识别的研究,相较于BERT等模型,ernie模型则是通过对中文实体语义单元的掩码,使得模型学习完整概念的语义表示.实验结果表明,分层ernie模型在ACE2004和ACE2005两个中文嵌套命名实体语料库上F1值分别为84.5%和85.9%,性能优于BERT和RoBERTa模型.

关键词：嵌套命名实体识别中文嵌套实体语料库 ernie 预训练模型

基于ernie-BiLSTM的社交网络文本情感分析

在线全文

学校读者我要写书评

暂无评论

中国电子科学研究院学报 2023年第4期18卷 321-327页

作者：杨文阳孔科迪西安石油大学计算机学院陕西西安710065

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析... 详细信息

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析的ernie-BiLSTM方法,实现了对用户评论情感的七种情绪分类,包括恐惧、厌恶、乐观、惊喜、感恩、悲伤和愤怒。ernie-BiLSTM方法利用ernie预训练模型获取文本的语义信息,结合BiLSTM提取文本的双向特征,最后使用softmax函数获得最终的情感分类结果。实验结果表明,ernie-BiLSTM方法具有87.7%的精确率、86.9%的召回率和86.8%的F1得分,比其他方法得到了有效提升。

关键词：情感分析 ernie BiLSTM 社交网络文本深度学习

基于ernie的中文地址解析与匹配应用研究

在线全文

学校读者我要写书评

暂无评论

基于ERNIE的中文地址解析与匹配应用研究

作者：翁晓妹华南理工大学

学位级别：硕士

随着互联网的普及,短视频平台以及直播行业的迅速兴起,促进了商品流通与消费,推动了各行业内业务的发展,基于这些场景,几乎每时每刻都在产生中文地址数据,同时,中文地址数据也是建设智慧城市不可或缺的信息资源。要想充分挖掘海量地址... 详细信息

随着互联网的普及,短视频平台以及直播行业的迅速兴起,促进了商品流通与消费,推动了各行业内业务的发展,基于这些场景,几乎每时每刻都在产生中文地址数据,同时,中文地址数据也是建设智慧城市不可或缺的信息资源。要想充分挖掘海量地址数据的利用价值,推动智慧城市的建设,离不开中文地址解析与匹配,但由于中文地址本身构成的复杂性以及人们使用习惯等多方面影响,导致中文地址解析与匹配过程中存在语料库质量不佳、训练数据成本高以及检索效率低等诸多问题,最终造成中文地址解析与匹配效果不佳。因此,本文针对目前中文地址解析与匹配所存在的问题,开展了以下研究:(1)基于ernie的中文地址解析研究针对目前中文地址解析领域缺乏高质量语料库,训练数据标注成本高等问题,本文首先通过分析标准地址与日常实际使用中可能出现的地址描述方式,构建了中文地址标注体系;研究了中文地址解析语料文本增强方法,降低了人工标注地址解析训练数据的成本,增强了中文地址解析模型对于非规范地址数据解析的敏感度;基于上述两点,采用BIOES(B-begin,I-inside,O-outside,E-end,S-single)方法构建了质量较高的中文地址解析语料库,为后续研究提供了数据支撑。针对中文地址解析效果欠佳的问题,本文提出了ernie-BILSTM-CRF中文地址解析模型。该模型在双向长短时记忆神经网络以及条件随机场模型的基础上,引入了基于知识增强语义表示的ernie(Enhanced Representation through Knowledge Integration)预训练语言模型,增强了中文地址解析模型语义表示能力,有效提升了中文地址解析效果。(2)融合多策略的中文地址匹配方法研究针对目前中文地址匹配领域中地址库质量较低(存在脏数据、冗余数据)的问题,以及地址匹配服务对于地址存储、检索的性能要求和地址匹配精确率的要求,本文提出了融合多策略的中文地址匹配方法。该方法首先采用基于规则的方法对不规范的地址进行修正或删除,达到精简地址库,提高地址库质量的目的,同时基于中文地址层级特点采用Elastic Search存储地址数据,构建地址库,保证了地址存储与检索效率;然后在分级匹配的基础上,结合精确匹配、模糊匹配以及层级回溯匹配等多种方法筛选出与待匹配地址可能相似的地址集合,为提升非规范地址匹配准确率以及地址匹配效率奠定了基础;最后根据中文地址行政区划与非行政区划两部分的差异性,将地址相似度分为行政区划相似度以及非行政区划相似度,行政区划相似度采用基于集合运算的方法,非行政区划相似度采用由权重(IDF值)与相关性得分共同影响文本相似度的BM25算法,结合地址要素语义信息,并在归一化的基础上根据地址层级确定惩罚因子突出不同层级地址要素的重要性,有效提升了中文地址匹配的准确率。最终在实验部分,将基于ernie的中文地址解析方法与其他模型进行地址解析对比实验以及与BERT-BILSTM-CRF在不同层级下的地址要素解析进行对比实验,实验证明,与其他模型相比,基于ernie的中文地址解析方法可以有效提升中文地址的解析效果。将融合多策略的中文地址匹配方法与其他方法进行对比实验以及在不同并发数下地址匹配耗时进行对比实验,实验证明,融合多策略的中文地址匹配方法相较于其他方法具备更好的匹配效果,能够满足实际生产中的性能需求。

关键词： ernie 中文地址解析中文地址匹配

SA-Model:Multi-Feature Fusion Poetic Sentiment Analysis Based on a Hybrid Word Vector Model

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Computer Modeling in Engineering & Sciences 2023年第10期137卷 631-645页

作者： Lingli Zhang Yadong Wu Qikai Chu Pan Li Guijuan Wang Weihan Zhang Yu Qiu Yi Li School of Computer Science and Engineering Sichuan University of Science and EngineeringZigong643000China School of Automation and Information Engineering Sichuan University of Science and EngineeringZigong643000China School of Computer Science and Technology Southwest University of Science and TechnologyMianyang621000China School of Information Engineering Southwest University of Science and TechnologyMianyang621000China

Sentiment analysis in Chinese classical poetry has become a prominent topic in historical and cultural tracing,ancient literature research,etc.However,the existing research on sentiment analysis is relatively small.It does not effectively solve the problems such as the weak feature extraction ability of poetry text,which leads to the low performance of the model on sentiment analysis for Chinese classical poetry.In this research,we offer the SA-Model,a poetic sentiment analysis model.SA-Model firstly extracts text vector information and fuses it through Bidirectional encoder representation from transformers-Whole word masking-extension(BERT-wwmext)and Enhanced representation through knowledge integration(ernie)to enrich text vector information;Secondly,it incorporates numerous encoders to remove text features at multiple levels,thereby increasing text feature information,improving text semantics accuracy,and enhancing the model’s learning and generalization capabilities;finally,multi-feature fusion poetry sentiment analysis model is constructed.The feasibility and accuracy of the model are validated through the ancient poetry sentiment corpus.Compared with other baseline models,the experimental findings indicate that SA-Model may increase the accuracy of text semantics and hence improve the capability of poetry sentiment analysis.

关键词： Sentiment analysis Chinese classical poetry natural language processing BERT-wwm-ext ernie multi-feature fusion