检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练模型的多语言表征学习及应用研究

基于预训练模型的多语言表征学习及应用研究

作者：陈贝多中国科学技术大学

学位级别：硕士

人工智能主要分为三个重要的层次:计算智能,感知智能与认知智能。自然语言处理研究则是认知智能的重要领域之一。近年来,随着大规模预训练语言模型的出现,语言模型通过海量数据的深度驱动产生了令人惊讶的语义表征性能,逐渐颠覆着人类... 详细信息

人工智能主要分为三个重要的层次:计算智能,感知智能与认知智能。自然语言处理研究则是认知智能的重要领域之一。近年来,随着大规模预训练语言模型的出现,语言模型通过海量数据的深度驱动产生了令人惊讶的语义表征性能,逐渐颠覆着人类的固有认知。其中,多语言的语义表征学习及应用因为其语种与地域的普适性而被广泛关注。据统计,世界上总共存在约五千多种语言,其中使用人数超过千万的语言却只有十几种。因此,如何实现跨语言的信息交流,抑或实现多语言的语义共享,以打破语种之间的隔阂,成为了一个热门的话题。现阶段,利用大规模的多语言预训练模型解决各类跨语言下游任务时,常常面临预训练模型利用不足、缺少跨语言对齐的监督信息、难以导入外部知识库等问题,导致模型在特定场景下表现不佳,影响了跨语言迁移性能或者多语言表征效果。本文围绕基于预训练模型的多语言系统,在模型结构探索、预训练方式改进与外部知识库引入等方面开展研究工作,具体包括:首先,进行了基于多语言预训练模型的双层特征融合研究。目前,解决跨语言下游任务的主流方法总是使用多语言预训练模型mBERT的最后一个Trans-former 层的输出作为语言信息的表示。本文探索了较低层与 mBERT 的最后一层的互补性,提出了一种基于注意力机制的特征聚合模块,用于融合不同层中包含的信息。该方法在四个零样本跨语言迁移基准测试任务上取得了性能改进,并从经验上探索mBERT的可解释性。其次,进行了基于多层次对比学习的多语言模型预训练方法研究。现阶段的多语言模型总是在海量多语种数据中进行基础的上下文单词建模训练,这种预训练方法只鼓励语义向量空间中的隐式跨语言对齐。本文提出了一个基于多层次对比学习的跨语言预训练方式,通过平行语料与双语词典构建了一种在句子与单词层面进行显式跨语言对齐的监督方法,显著提升了模型的跨语言表征能力,在六个零样本跨语言迁移基准测试任务上取得了性能提升。最后,进行了基于多语言实体库的多语言复杂命名体识别研究。面对多语言的长难实体,大多数多语言命名体识别系统难以分辨。本文通过维基百科构建了一个包含七百万条命名实体、横跨十一种语言的多语种实体库,将其与多语言预训练模型进行特征层面的融合。该模型能有效地分辨低上下文环境中的长难命名实体边界,实现了识别性能的显著提升。

关键词：自然语言理解多语言模型预训练特征融合零样本跨语言迁移对比学习命名体识别实体库

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于神经网络的电子病历质控系统设计与实现

基于神经网络的电子病历质控系统设计与实现

作者：谢磊鹏首都经济贸易大学

学位级别：硕士

近年来,人们对电子病历不断进行深入研究,与此同时,医院的就诊人数也在不断增加,每天产生了海量的医疗信息。但是其信息的可靠性无法得到保证,而且由于大多数医院都有自己的电子病历系统,比如HIS、LIS、RIS、PACS等子系统。由于这些子... 详细信息

近年来,人们对电子病历不断进行深入研究,与此同时,医院的就诊人数也在不断增加,每天产生了海量的医疗信息。但是其信息的可靠性无法得到保证,而且由于大多数医院都有自己的电子病历系统,比如HIS、LIS、RIS、PACS等子系统。由于这些子系统是相互独立的,即使在电子病历产生的过程中有前后矛盾的地方也不会自动被识别。若人为的去检查则会耗时耗力或者根本无法完成。所以本系统将会研究解决这一问题,在不改变医院现有电子病历系统的前提下,依然可以借助智能化手段对电子病历进行质量控制。本文针对电子病历中存在的问题,利用较为成熟的神经网络理论知识,提出了具有创新性的电子病历质控模型。以患者电子病历为基础,通过手动标注训练数据,在bert-base-chinese模型基础上训练命名体识别的神经网络模型。以国家卫生健康委员会单病种质量管理与控制平台关于单病种的上报项为基准,基于正则表达式和神经网络模型对电子病历原始文书进行了结构化处理。再根据结构化后的电子病历信息进行质量控制分析,其主要发现是否缺少病历文书、电子病历完整度、文书之间是否有不一致项和电子病历书写格式是否规范的问题。通过得到的结果发现,模型的效果比较理想。以电子病历质控模型为基础,开发了基于神经网络的电子病历质控系统,其目的是发现电子病历中存在的问题。该系统完成了电子病历查询、删除、更新,电子病历结构化信息的修改、更新保存和生成电子病历质量问题等功能,在一份完整的电子病历生成过程中,借助该系统可以及时发现其中的问题,不仅可以提高电子病历的质量,还可以规范医生的诊疗行为。由于本论文采用了目前最新的神经网络技术,所以系统的出现也在一定程度上加快了医院智能化步伐。

关键词：电子病历神经网络命名体识别质量控制

基于自然语言处理的沉积物知识图谱构建关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自然语言处理的沉积物知识图谱构建关键技术研究

作者：胡志臣南京信息工程大学

学位级别：硕士

沉积物数据揭示了地球生命的进化历程,其关键信息(沉积时间、沉积物种类、地理空间信息等)通常记录于科技文献中。自然语言处理技术(如命名体识别、关系抽取等)通过挖掘文献中沉积物关键信息,提取其中关联关系,构建沉积物知识图谱,有利... 详细信息

沉积物数据揭示了地球生命的进化历程,其关键信息(沉积时间、沉积物种类、地理空间信息等)通常记录于科技文献中。自然语言处理技术(如命名体识别、关系抽取等)通过挖掘文献中沉积物关键信息,提取其中关联关系,构建沉积物知识图谱,有利于促进沉积物知识共享。然而,沉积学文献呈现多源异构特征,使得提取沉积物实体数据体量庞大,时间损耗高,文献上下文之间语义关系耦合度较高,且实体间关系无法准确判别。因此,沉积物知识图谱构建面临以下挑战:(1)沉积语料库缺失,实体间存在词性歧义,无法构建有效的命名体识别模型。(2)沉积物关系抽取缺乏知识体系先验知识,隐藏关系表征能力弱,无法被模型准确提取。鉴于此,本文对基于自然语言处理的沉积物知识图谱关键技术开展研究工作,研究内容主要包括:(1)为了解决沉积物领域语料库缺失和实体词性歧义的问题,本文提出一种基于词性正则分析与双向长短期神经网络和条件随机场模型(Bidirectional Long Short Term Memory-Conditional Random Fields,Bi LSTM-CRF)的命名体识别模型。具体而言,首先,根据沉积物词组特征设计专家词典与词性正则匹配公式,提出了一种基于沉积学的语句切词算法。其次,将形成的沉积学领域先验知识,与多源异构文献进行词组与词性的组合提取,构建结构化沉积物语料库。最后,为了消解实体词性歧义问题,将词性与Bi LSTM-CRF相结合,从而保证实体识别的稳定性。实验结果表明,该模型实现在语料库可扩展的同时降低实体识别的延迟,并优化了未登录词的辨别能力。(2)针对传统关系抽取模型对上下文关系表征能力弱,且难以利用先验知识,导致跨语句关系抽取抗干扰性差的问题,本文提出了一种基于双向门控循环神经网络和条件随机场的注意力机制(Bidirectional Gated Recurrent Unit Neural Network-Conditional Random Fields-Atttention,Bi GRU-CRF-Att)的聚类关系抽取模型。具体而言,首先,将沉积物命名体识别模型作为上游任务,获取包含沉积物实体的上下文语句。进而,基于Bi GRU-CRF-Att挖掘实体间关系。最终,用聚类算法延伸沉积物之间的关系属性。实验结果表明,该模型在抽取隐藏关系的同时提升了对上下语句间冗余噪声的鲁棒性。

关键词：沉积学知识图谱自然语言处理命名体识别关系抽取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于中医药领域图谱自动构建与可视化研究

齐齐哈尔大学学报（自然科学版） 2022年第6期38卷 43-54,73页

作者：顾泽元刘星陈慧琴黑龙江科技大学计算机与信息工程学院哈尔滨150022

探讨使用自然语言处理技术实现中医药领域的可视化知识图谱方法。通过命名体识别技术抽取中医药实体,关系抽取技术抽取中医药实体关系,基于Neo4j构建可视化的中医药知识图谱。提出了一套构建中医药领域知识图谱的构建方案。使用了BERT-B... 详细信息

探讨使用自然语言处理技术实现中医药领域的可视化知识图谱方法。通过命名体识别技术抽取中医药实体,关系抽取技术抽取中医药实体关系,基于Neo4j构建可视化的中医药知识图谱。提出了一套构建中医药领域知识图谱的构建方案。使用了BERT-BiLSTM-CRF模型抽取中医药实体,F1值达到了81.52%;使用融合注意力机制的共享参数联合模型抽取实体关系,综合F1值达到了79.62%;将抽取出的实体关系导入Neo4j,实现了中医药知识的可视化展示,可以支持信息检索等下游应用。实验存在数据集规模不足、覆盖面小、标签不平衡等局限。该方案在实体抽取和关系抽取方面都达到了良好的效果,能够抽取出构建图谱所需的实体及关系,构建对应领域的知识图谱,可以为今后特定领域的图谱构建提供新的思路和方法。

关键词：知识图谱命名体识别关系抽取

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

一种应用于电力技术专业领域的信息萃取算法

科技与创新 2022年第17期 66-68页

作者：倪吉祥闫欣悦徐大亮国家电网有限公司高级培训中心北京100192 北京数睿思德技术有限公司北京100083

电力技术专业领域的信息萃取的效率提升问题受到越来越多的关注。针对这一关键问题,采用融合全文抓取与文件解析、OCR、专业领域的语言模型、命名体识别、textRank等关键技术,提取了一种新的信息萃取算法。通过多人盲评等实验环节,证明... 详细信息

电力技术专业领域的信息萃取的效率提升问题受到越来越多的关注。针对这一关键问题,采用融合全文抓取与文件解析、OCR、专业领域的语言模型、命名体识别、textRank等关键技术,提取了一种新的信息萃取算法。通过多人盲评等实验环节,证明了本算法的有效性。

关键词：信息萃取人工智能命名体识别神经网络

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于条件随机场的中文命名体识别

福建电脑 2012年第2期28卷 89-89,93页

作者：王昌厚晋中学院计算机学院山西晋中030600

本文使用条件随机场模型解决中文命名体识别问题,探讨了特征的选择对命名体识别的影响。实验证明,词的边界特征、构词特征(词的首字和尾子)、词性特征、词的上下文特征(尤其是前缀和后缀)对识别命名体具有非常大的帮助。

关键词：命名体识别条件随机场特征

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于BERT与知识校验的中文实体关系抽取

基于BERT与知识校验的中文实体关系抽取

作者：王子辰上海财经大学

学位级别：硕士

实体关系抽取是指从自然语言文本中抽取形如（客体,关系,主体）的实体关系三元组,旨在使机器具备从海量文本中自动构建知识的能力;另一方面,预训练语言模型在很多自然语言处理任务上取得了很好的效果。本文工作结合深度双向转换器编码... 详细信息

实体关系抽取是指从自然语言文本中抽取形如（客体,关系,主体）的实体关系三元组,旨在使机器具备从海量文本中自动构建知识的能力;另一方面,预训练语言模型在很多自然语言处理任务上取得了很好的效果。本文工作结合深度双向转换器编码器表示（BERT:Bidirectional Encoder Representations from Transformers）,提出了两种解决多关系多实体,中文模式（schema）约束的实体关系抽取的方法。首先本文提出了先关系后实体的层次抽取方案。这是一个两阶段流水线模型,在第一阶段,通过BERT编码器进行关系多标签分类任务;在第二阶段,使用上一阶段预测的关系标签作为先验信息与原始文本拼接输入BERT进行实体识别,采用序列标注方法预测实体标签实现三元组抽取,最后得到实体与关系的匹配三元组。同时借鉴多头选择的思想提出了基于多头选择的联合抽取方案,这是一个端到端的方法,联合实现关系抽取与实体抽取。模型使用BERT作为编码层,后接条件随机场（CRF:conditional random field）用于实体命名体识别任务,最后通过多头选择方法预测输入词序列每个词最有可能的对应头向量和对应关系标签。在SKE中文信息抽取数据集上,通过知识蒸馏和模型集成,上述两种方法在F1指标上对于基线模型有近10个百分点的提升。最后,文章创新性地提出了结合知识库先验信息的知识校验方法。一般的实体关系抽取只利用了目标语料本身的信息,却忽视了知识库中的大量先验信息,如知识库的局部拓扑结构,知识库实体关系的分布信息等。模型第一步借鉴远程监督思想,补充模型未预测出但存在于训练集的三元组;第二步,将筛选高质量三元组任务转换为三元组二分类任务,判断三元组为真的置信度。模型使用XGBoost作为分类器,构造了基于知识库实体关系条件分布SDValidate,基于知识嵌入Trans E三元组评分,深度模型三元组置信度得分,排名等多个特征,最终使模型在F1提升2到4个百分点。同时,采用SHAP值解释了模型的特征重要性。综上所述,本文提出了两种基于BERT预训练语言模型解决多关系多实体抽取任务,同时设计了知识校验模块用于三元组补充与筛选。通过对比实验验证了方法的有效性与普适性,可以运用于问答系统,推荐系统等多个领域中。

关键词：关系抽取预训练语言模型命名体识别远程监督三元组分类

基于改进序列标注模型的医学文本命名实体识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进序列标注模型的医学文本命名实体识别

作者：张隆敏厦门大学

学位级别：硕士

随着神经网络模型的发展,神经网络与传统序列标注模型的组合逐渐替代了传统的基于隐马尔科夫或条件随机场的序列标注模型,成为命名实体识别领域的主流方向。医学文本来自于医学专业书籍,是构建医学知识图谱的重要资料。而医学文本命名... 详细信息

随着神经网络模型的发展,神经网络与传统序列标注模型的组合逐渐替代了传统的基于隐马尔科夫或条件随机场的序列标注模型,成为命名实体识别领域的主流方向。医学文本来自于医学专业书籍,是构建医学知识图谱的重要资料。而医学文本命名实体识别对医学知识图谱的构建起着重要的作用,基于此背景,本文针对医学领域的文本的命名实体识别展开研究。首先,本文构建了多粒度文本特征融合的医学文本命名实体识别模型。因为多粒度文本特征可以解决未登录词问题并丰富词语的表征,所以,本文以结合BiLSTM（Bi-directional Long Short-Term Memory）和 CRF（Conditional Random Field）的命名实体识别模型为基础,融合字符、亚词、词级别的特征,并分别比较了上下文无关的GloVe（Global Vectors）词向量和上下文相关的BERT（Bidirectional Encoder Representation from Transformers）词向量在命名实体识别上的效果。实验表明上下文相关的词向量和多粒度文本特征融合可以提升命名实体识别的效果。其次,针对长序列建模问题,本文构建了基于多头注意力机制的医学文本命名实体识别模型。由于LSTM（Long Short-Term Memory）在建模长序列时容易丢失序列内容的长期依赖关系,所以本文使用基于多头注意力机制的Transformer编码器结构替代BiLSTM进行序列建模。实验表明Transformer编码器结构可以提升命名实体识别的效果。最后,本文研究了在添加额外信息的条件下的医学文本命名实体识别问题。本研究在原始的命名实体识别问题的基础上,结合医学领域文本的特点,分别添加疾病名称和实体类型这两种额外信息,最终将问题转化为文本阅读理解问题,并构建基于问答系统的医学文本命名实体识别模型。实验表明,添加额外信息可以提升命名实体识别的效果,且实体类型信息的加入方案对命名实体识别的效果提升最大。

关键词：医学文本命名体识别多粒度文本注意力机制问答系统