检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的诈骗电话文本分类方法研究

基于深度学习的诈骗电话文本分类方法研究

作者：周俊杰山东建筑大学

学位级别：硕士

随着互联网经济和通信技术的迅速发展,社会不断进步,人们的生活也变得更加便利。但是,科技进步的同时也使得电信诈骗手段呈现多样化。电话诈骗作为电信诈骗中最具代表性的类型,近年来愈演愈烈,此类案件一般团队作案,利用诈骗话术在短时... 详细信息

随着互联网经济和通信技术的迅速发展,社会不断进步,人们的生活也变得更加便利。但是,科技进步的同时也使得电信诈骗手段呈现多样化。电话诈骗作为电信诈骗中最具代表性的类型,近年来愈演愈烈,此类案件一般团队作案,利用诈骗话术在短时间内取得受害人的信任,令人防不胜防。诈骗案件已经成为社会的一大隐患,这严重影响了社会的和谐安定,严重危害了人民的生命和财产安全,治理诈骗电话刻不容缓。诈骗电话文本从本质上讲是一些包含诈骗话术的语句集合,可通过语音转化技术将通话内容以文字的形式记录形成文本,这种文本蕴含诈骗语义信息,这些信息蕴含在语句的序列结构、词语之间的局部相关性、文本的上下文相关性以及关键词等文本特征中。在国内外基于深度学习的文本分类的研究中,有许多经典的算法已经被开发用于社交媒体攻击性文本识别和情感分析。这些算法同样适用电话文本的诈骗性识别,但与上述分类任务相比,诈骗文本的语义更为复杂,相对来说更难以区分。循环神经网络(Recurrent Neural Networks,RNN),RNN的变体,卷积神经网络(Convolutional Neural Networks,CNN)和混合神经网络提取文本特征是大多数文本分类研究使用的。然而,单一的网络或简单的网络组合相对而言无法获得丰富的诈骗电话文本特征知识。并且选择合适的文本向量表示有助于丰富诈骗电话文本的诈骗语义信息,这极为影响模型的分类结果。为解决上述问题,本文基于深度学习的文本分类方法,融合多方面文本知识构建诈骗电话文本分类模型,论文主要研究内容如下:(1)制作了一个包含上万条诈骗电话文本的数据集,从各大互联网网站上获取诈骗电话相关的数据,同时人工编写修改部分诈骗文本数据集。数据集涵盖了多种类型的诈骗,例如教育、刷单、冒充公职人员和聊天交友等类型的诈骗。(2)为了充分提取诈骗电话文本的特征,使模型能够充分学习诈骗语义知识,本文基于深度学习的文本分类方法,融合多方面的文本知识,提出了四种不同的诈骗电话文本分类模型。模型一为PEAGCNN(Position Embedding and Attention are introduced into Bi GRU and CNN),采用不同频率的正弦、余弦函数对文本位置信息编码并融入词向量,然后分别利用Bi GRU(Bidirectional Gated Recurrent Unit)和CNN(Convolutional Neural Network)提取文本上下文相关信息、语句序列以及局部相关性,Attention机制对提取出的信息重新分配权重,突出关键信息的作用,最后将两种信息融合;模型二为TEBi LSTM(Transformer-Encoder-Bidirectional Long Short-Term Memory),该模型是一种基于改进Transformer和Bi LSTM相结合的混合神经网络,多头注意机制可以从不同子空间的文本中提取深度语义信息,双向长短期记忆网络(Bi LSTM)可以利用文本的远距离依赖性;模型三为LMHACL(Bi LSTM-Multi-Head Attention Mechanism Module with Convolution-Bi LSTM),该模型将Bi LSTM或Bi GRU与具有卷积的多头注意机制模块相结合。使用Bi LSTM或Bi GRU构建编解码层,具有卷积的多头注意机制模块(MultiHead Attention Mechanism Module with Convolution,MHAC)增强了模型学习诈骗语句中全局交互信息和多粒度局部交互信息的能力;模型四为BERT＿Bi LCNN(Bidirectional Encoder Representation from Transformers-Bi LSTM and CNN),词嵌入部分采用基于Transformer的BERT表示诈骗文本,同时采用Bi LSTM以及CNN的混合神经网络(Bi LCNN)学习文本的时序知识和局部交互知识。(3)为进一步提升模型的性能,在模型四的构建过程中,本文对Word2Vec和BERT进行了实验比较,从中选择出具有最丰富诈骗语义特征的词嵌入向量。实验结果表明,BERT作为词嵌入模型具有最好的实验结果。(4)在诈骗电话文本数据集上进行大量的实验,选取经典的文本分类模型作为基线模型,实验结果表明,本文提出的四种诈骗电话文本模型实验结果均高于基线模型,准确率和F1值等评价指标均在90%以上,其中BERT＿Bi LCNN具有最好的实验结果。

关键词：诈骗电话文本分类 BiLSTM BiGRU CNN Transformer 多头注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的方面级情感分析研究

基于深度学习的方面级情感分析研究

作者：张丽萍安徽理工大学

学位级别：硕士

在自然语言处理中,基于方面级情感分析的研究是一项非常重要的工作。先前的研究中大多是对文本中的一句话做出整体的情感判断,而忽略了每句话中都可能包含了不同的方面词。随着深度学习的发展,基于深度学习的方面级情感分析有效地解决... 详细信息

在自然语言处理中,基于方面级情感分析的研究是一项非常重要的工作。先前的研究中大多是对文本中的一句话做出整体的情感判断,而忽略了每句话中都可能包含了不同的方面词。随着深度学习的发展,基于深度学习的方面级情感分析有效地解决了这个问题,并在一定程度上提高了分类效果。但是,目前基于深度学习的方面级情感研究中,文本数据中存在选择模型单一、句子短小和情感表达模糊等问题,因而难以提取它们的特征,从而无法对方面词进行情感极性的判断。或存在只对文本的上下文进行建模、预训练模型不能表达一词多义等问题。所以针对以上存在的问题,本文提出的主要研究内容如下:(1)传统的方面级情感分析只通过生成上下文词向量的方式进行研究,然而一些文本评论存在字数少、情感表达模糊的问题,因此传统方法不能充分的提取句子的特征信息。为了解决上述问题,本文提出了基于情感特征与注意力机制的方面级情感分析模型。首先,该模型将文本词向量和情感特征词向量进行拼接作为输入,扩充了词向量作为输入的信息量;其次,将卷积神经网络CNN和双向长短期记忆网络BiLSTM相结合,获取文本局部信息和上下文语义信息;最后,引入了注意力机制,将重点放在了对分类结果有重要影响的单词上,并利用Softmax分类器进行分类。实验证明,本文所提出的此模型在准确率和F1值方面比其他对比模型要好。(2)传统使用的预训练模型生成的是静态词向量,因而无法表达一词多义,并且只考虑到上下文建模,而忽略了方面词的建模,不能很好地学习上下文和方面之间的相关性。为了解决以上问题,本文提出基于交互注意力机制的BERT方面级情感分析模型。首先,该模型通过BERT分别产生上下文和方面词动态词向量,可以有效解决静态词向量不能表达多义词的问题;其次,将文本词向量和方面词向量作为双向门控循环单元模型(Bi-directional Gated Recurrent Unit,BiGRU)的输入;接着,利用交互注意力机制学习上下文和方面词之间的相关性;最后重构方面词和上下文的表示,通过Softmax分类器进行分类。实验证明,本文所提出的此模型在准确率和F1值方面比其他对比模型要好。图[23]表[10]参[75]

关键词：方面级情感分析深度学习注意力机制 CNN BiLSTM BiGRU BERT

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的网络异常检测研究

基于深度学习的网络异常检测研究

作者：舍志浩中国矿业大学

学位级别：硕士

近些年来,网络攻击层出不穷,且攻击手段高超,不易发现,因此,提高网络异常检测的识别能力显得极其重要。网络异常检测是一个非常有价值的研究领域,它能够识别网络中存在异常的流量,进而发现攻击行为。在当今复杂的网络环境中,传统的网络... 详细信息

近些年来,网络攻击层出不穷,且攻击手段高超,不易发现,因此,提高网络异常检测的识别能力显得极其重要。网络异常检测是一个非常有价值的研究领域,它能够识别网络中存在异常的流量,进而发现攻击行为。在当今复杂的网络环境中,传统的网络异常检测方法对于一些新兴攻击流量的检测效果显得不尽人意,存在准确率低、误报率高等问题,且真实环境中正常流量和攻击流量数目差别较大,这对检测结果造成一定的影响,会导致对于少数类别的攻击流量的检测效果较差,进而造成资产的损失。针对此类问题,深度学习的兴起为这些问题的解决提供了新思路。深度学习模型能够学习网络中不同流量的特征,从而训练模型,对未知流量进行预测,达到对流量进行精准分类的效果。本文基于这种思想,将深度学习和网络异常检测相结合,主要内容如下:(1)针对传统的网络异常检测方法误报率高、检测率低等问题,采用深度学习方法,融合卷积神经网络和双向门控循环神经网络来构建网络异常检测模型,将数据集经过预处理后,首先使用CNN对处理后的数据集进行特征提取,接着使用双向门控循环神经网络继续提取时序特征,最后对其进行分类。由于实验所用的NSL-KDD数据集存在数据不平衡问题,会影响检测效果,因此使用Focal Loss函数对所提出的模型进行优化。实验结果表明,该模型在NSL-KDD数据集上有较好的检测效果,优化后的模型对小样本的检测能力效果显著。与其他模型相比,本模型对网络流量具有不错的识别能力,不仅提高了网络异常检测的准确率等性能指标,而且降低了误报率,表现较好。(2)将辅助分类生成对抗网络应用到网络异常检测中构建网络异常检测模型,该方法包括生成器和判别器网络,将随机噪声和标签一起输入生成器以生成假数据,将数据集进行预处理后和生成器输出的假数据一起输入到判别器进行识别,完成分类任务。由于构建的模型在训练过程中容易出现梯度消失问题,因此对模型中的判别器进行优化,加入梯度惩罚项优化损失函数,通过与其他模型在UNSW-NB15数据集进行实验,比较检测性能,表明该模型的检测能力优于其他模型,能够达到较好的检测效果,为保护网络安全提供保障。

关键词：深度学习网络异常检测 BiGRU 网络安全

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向商品评论文本的方面级情感分析研究

面向商品评论文本的方面级情感分析研究

作者：苏明星安徽理工大学

学位级别：硕士

面向商品评论文本的方面级情感分析是指对给定商品的方面词(或属性词),结合评论文本的上下文语境推断出用户对该方面词的情感倾向。目前已知的方面级情感分析方法主要基于神经网络感知目标对象在句中所蕴含的情感信息,并将这些情感信息... 详细信息

面向商品评论文本的方面级情感分析是指对给定商品的方面词(或属性词),结合评论文本的上下文语境推断出用户对该方面词的情感倾向。目前已知的方面级情感分析方法主要基于神经网络感知目标对象在句中所蕴含的情感信息,并将这些情感信息汇总融合,从而推断出用户对于给定方面词所表达的情感倾向。然而,由于方面级数据的标注复杂性,现有可供模型训练的数据规模较小,造成神经网络无法充分学习文本的语义模式和情感特征,导致模型在预测方面词情感倾向时产生偏差。针对该问题,本文提出了基于迁移学习和过滤机制的方面级情感分析模型ABSA-TLFM(Aspect-Based Sentiment Analysis based on Transfer Learning and Filtering Mechanism),所做的主要工作包含以下两点:(1)提出基于迁移学习的方面级情感分析模型ABSA-TL(Aspect-Based Sentiment Analysis based on Transfer Learning)来解决由方面级训练语料不足导致神经网络无法充分训练的问题。首先,在大规模文档级标注语料上,对ABSA-TL进行文档级情感分析任务预学习,使得模型预学习到丰富的文本语言模式和情感特征;接着,在方面级标注语料上,将预学习后的ABSA-TL模型进行二次训练,目的是让模型能更关注和感知给定方面词所对应的情感表述。在公开的方面级情感分析数据集上进行实验,实验结果验证了ABSA-TL的有效性。(2)进一步地,考虑迁移学习过程中会引入与方面词无关的情感噪音,提出一种基于迁移学习和过滤机制的方面级情感分析模型ABSA-TLFM。首先,利用文档级预训练模块学习文本的一般性语言模式和情感特征,再通过共享参数的方式将所学知识传递给方面级情感分析模块;接着,设计一个注意力过滤模块,该模块主要作用是过滤文档级知识中与方面词无关的情感信息;最后,在文档级预训练模块的辅助下,将方面级情感分析模块和过滤模块进行联合训练,达到利用文档级知识的同时,降低多余情感噪音的影响。实验结果证明,迁移学习和过滤机制的结合能有效提高方面级情感预测的准确率。图[20]表[8]参[75]

关键词：方面级情感分析迁移学习过滤机制 BERT BiGRU 注意力机制

基于Attention和残差网络的非侵入式负荷监测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电测与仪表 2021年

作者：何健明李梦诗张禄亮季天瑶华南理工大学

非侵入式负荷监测（Non-Intrusive Load Monitoring， NILM）可以从家庭电能表的总功率读数，估算出各用电器的功率。由于对于同一类用电器，其状态种类、各状态持续时长、各状态的功率波形都不同，这使得基于特征工程和聚类的模型的泛... 详细信息

非侵入式负荷监测（Non-Intrusive Load Monitoring， NILM）可以从家庭电能表的总功率读数，估算出各用电器的功率。由于对于同一类用电器，其状态种类、各状态持续时长、各状态的功率波形都不同，这使得基于特征工程和聚类的模型的泛化能力不强；回归模型的分解功率难以迅速跟踪真实功率。针对这些问题，文中将回归问题转化为在序列每个时刻的多分类问题，并提出基于Attention和残差网络的非侵入式负荷监测模型。该模型基于具有编码器和解码器的seq2seq框架，首先通过嵌入矩阵将高维稀疏one-hot向量映射为低维稠密向量；在编码部分，通过双向GRU从前后两个方向提取序列信息，引入Attention机制计算序列中当前时刻最重要的信息，引入残差连接学习残差部分输入输出之间的差异；在解码部分，用回归层组合BiGRU解码结果，取经过softmax函数处理的最大概率功率类别作为结果。该模型在选取REFIT数据集中表现良好，其中测试集与训练集完全独立，表明训练好的模型可以直接应用在新的住宅用户中。

关键词：非侵入式负荷监测深度学习 BiGRU 残差网络注意力机制

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于深度学习的光伏发电功率短期预测研究

基于深度学习的光伏发电功率短期预测研究

作者：王莹青岛科技大学

学位级别：硕士

实现“碳达峰、碳中和”的重要举措是构建以可再生能源为主体的新型电力系统。近几年,太阳能、风电能、潮汐能、生物质能等可再生能源发电被大力部署,特别是小型和大型光伏电站发展迅速。然而,由于光伏发电的不确定性和间歇性,为电力系... 详细信息

实现“碳达峰、碳中和”的重要举措是构建以可再生能源为主体的新型电力系统。近几年,太阳能、风电能、潮汐能、生物质能等可再生能源发电被大力部署,特别是小型和大型光伏电站发展迅速。然而,由于光伏发电的不确定性和间歇性,为电力系统的平稳运营提出了巨大挑战,精准的光伏发电功率预测可以更好的分配电力储备,为风险决策、微电网的能源管理提供参考。因此,本文以深度学习为基础进行短期光伏发电功率预测,以期更好的为电力市场提供决策支持。本文设计了两种光伏发电功率预测方法,分别是基于Attention机制的CNNBiGRU预测模型和基于鲸鱼优化算法(Whale Optimization Algorithm,WOA)的Attention-BiGRU预测模型。论文主要工作包括:首先,对公开数据集进行预处理和相关性分析。由于光伏发电功率不可能为负值,将小于零的异常值用0代替;筛选出缺失值,用前一天同一个时刻的值填充;对于不同单位量纲的数据进行归一化与反归一化;由于光伏在晚上或者凌晨是不发电的,选取一天中5:00-19:00的光伏发电数据。通过Pearson和Spearman相关系数分析了特征重要性,确定了预测模型的输入变量,达到了对高维数据降维的目的。详细分析了水平面总辐射度、倾斜总辐射度、地外辐射度、温度和太阳天顶角等主要因素对光伏发电功率预测的影响。其次,设计了基于Attention机制的CNN-BiGRU神经网络预测模型。通过CNN提取光伏数据的空间特征,把CNN提取的这些空间特征送入到BiGRU神经网络中,利用BiGRU提取光伏数据的时间特征。然后,引入Attention机制解决长序列导致的预测精度下降问题,突出强相关特征的影响,减少弱相关特征的影响。实验结果表明,Attention-CNN-BiGRU和基于BP、GRU、BiGRU、AttentionBiLSTM、Attention-BiGRU的预测方法相比,具有更高的精度。最后,设计了基于鲸鱼优化算法的Attention-BiGRU神经网络预测模型。利用WOA优化Attention-BiGRU神经网络的学习率、训练次数、批数据的大小、第一层BiGRU的隐藏节点数,第二层BiGRU的隐藏节点数和全连接层隐藏节点数,以提高模型预测精度。实验结果表明,WOA-Attention-BiGRU与WOA-AttentionBiLSTM、Attention-CNN-BiGRU神经网络模型相比,预测精度更高。并且,Attention-CNN-BiGRU的预测精度优于WOA-Attention-BiLSTM模型。综上所述,本文以Attention-BiGRU为基础模型,从两方面提高其光伏发电功率的预测精度:一方面从加深神经网络模型结构入手,通过在Attention-BiGRU神经网络前加CNN层,提取光伏序列的空间特征;另一方面是从群智能优化算法入手,由于WOA优化算法参数少、操作简单以及跳出局部最优的能力强,所以选取WOA求解Attention-BiGRU超参数的最优解。

关键词：光伏发电功率 BiGRU Attention机制鲸鱼优化算法短期预测

基于深度学习的自然环境领域中文命名实体识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的自然环境领域中文命名实体识别研究

作者：张澜上海第二工业大学

学位级别：硕士

信息化时代,源源不断产生的数据,形成一个庞大的非结构化数据仓库,同时也为科学技术的发展提供丰富的研究资源。一直以来,如何高效地从海量的数据中获取有价值的信息,这一讨论备受学界关注,人们亟需一种智能化的文本处理技术。此时,自... 详细信息

信息化时代,源源不断产生的数据,形成一个庞大的非结构化数据仓库,同时也为科学技术的发展提供丰富的研究资源。一直以来,如何高效地从海量的数据中获取有价值的信息,这一讨论备受学界关注,人们亟需一种智能化的文本处理技术。此时,自然语言处理应运而出,在处理非结构化数据中发挥着重要的作用。作为自然语言处理任务之一的命名实体识别(Named Entity Recognition,NER),是当前热门的机器翻译、问答系统的核心技术,其识别准确率对自然语言处理的下游任务效果起着决定性作用。NER作为自然语言处理中关键性的上游任务,前期的研究主要是基于英文开展。当前英文NER研究趋于成熟,但是中文NER的效果仍有很大提升空间。在自然环境这个专业领域,目前还没有相关实体词典和公开标注的数据集发表,无法进行后续的研究;而它作为中文NER任务,因本身语言特点,识别难度远大于英文;而且因自然环境领域实体复杂,套用通用领域的神经网络模型效果较差,准确率和F都有待提高;中文文本存在一词多义实体难以被识别,这一现象也大大降低识别准确率。基于以上问题,本文结合专业领域的工程实际应用,将深度学习方法应用于自然环境领域中文NER的研究,主要的工作和贡献如下:(1)自然环境实体数据集构建。不同领域的NER任务需要建立在该领域的专业词典和语料库上,而当前没有自然环境相关实体定义和公开标注的数据集发表。本文给出一种自然环境实体数据集的构建方法,首先,基于国家环境保护局、中国环境科学学会等机构发布的相关文件资料,人工整理出自然环境相关词典;然后,基于Python编程采用Request、Selenium、Scrapy三种爬虫方法,获取12个网站的自然环境数据,并将数据暂存于txt文件中,使用jieba分词工具,结合自定义的自然环境领域词典和哈工大停用词词典,进行初步数据切分工作;最后,结合智能标注和传统的人工标注法,借助辅助标注平台YEDDA,采用BIO标注方式对总结出的6种实体进行标注,从而构建一个完整的自然环境实体数据集,用于后续的模型对比实验。(2)构建基于BiGRU(Gated Recurrent Unit,GRU)的命名实体识别模型。针对神经网络在特征提取时,向量单一和向量不足的问题,提出一种融合注意力机制的CNN-BiGRU-CRF模型。在特征提取阶段将CNN提取的前后缀特征向量和预训练得到的词向量、词长向量和词性向量拼接成特征向量组合,将BiLSTM替换为模型复杂度较低的BiGRU,提高训练效率,在BiGRU输出后加入Attention机制,给输出序列分配不同权重,提高识别效果。在4个不同领域的数据集上进行对比实验,包括One Notes、Resume两个公共领域,以及产品质检(Product Quality Inspection,PQI)和自然环境两个特定领域。实验结果表明该模型在准确率、召回率和F值均达到最高值,优于其他模型。(3)构建基于ELMO的命名实体识别模型。在CNN-BiGRU-CRF模型改进的基础上,针对主流的Word2vec模型不能很好解决一词多义的实体识别这一问题,在预训练阶段引入ELMO(Embeddings from Language Models,ELMO)模型,通过ELMO获取词语的动态向量,在多次实验的基础上得到结论,当ELMO特征向量维度为35时,动态向量和CNN提取的字符级别特征向量拼接,可以使模型达到最优效果。在PQI数据集和自然环境数据集的实验结果表明,相较于使用Word2vec词嵌入法,在各个数值上均有提高。最后,本文对自然环境数据集中每个实体的识别效果进行分析,验证了数据集的有效性和模型改进的效能。

关键词：深度学习命名实体识别自然环境 BiGRU ELMO

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于迁移学习的维吾尔语命名实体识别

东北师大学报（自然科学版） 2020年第2期52卷 58-65页

作者：孔祥鹏吾守尔·斯拉木杨启萌李哲新疆大学软件学院新疆乌鲁木齐830046 新疆大学信息科学与工程学院新疆乌鲁木齐830046

针对维吾尔语命名实体识别存在无法关注词序列依赖关系等问题,提出一种基于迁移学习的联合深度模型(TBIBC).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练中文数据集生成具有语义信息的词向量,再将词... 详细信息

针对维吾尔语命名实体识别存在无法关注词序列依赖关系等问题,提出一种基于迁移学习的联合深度模型(TBIBC).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练中文数据集生成具有语义信息的词向量,再将词向量序列通过空洞卷积神经网络(IDCNN)进行膨胀操作以减少神经元层数和参数,输出向量输入到双向门控循环单元(BiGRU)进行上下文语义信息提取,然后通过CRF层得到最优标签序列.模型采用共享深度神经网络隐藏层的方法将训练好的中文实体识别模型迁移到维吾尔语模型上.结果表明,该模型的准确率为91.39%,召回率为90.11%,F 1值达到90.75%,能显著提升维吾尔语命名实体识别性能.

关键词：迁移学习 BERT BiGRU 空洞卷积网络

基于ERNIE-Bi-GRU-Attention的医疗实体关系抽取模型

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

信息技术与信息化 2024年第2期 208-212页

作者：姚洁仪王春亮水电工程智能视觉检测湖北省重点实验室湖北宜昌443000 三峡大学计算机与信息学院湖北宜昌443000

医疗信息文本信息处理存在文本长、专业术语多、实体间关系复杂等问题,因此,提出一种基于ERNIEBi-GRU-Attention的医疗实体关系抽取模型。首先通过预训练模型ERNIE使向量获得丰富的语义信息和医疗先验知识,解决医疗专业术语问题;其次通... 详细信息

医疗信息文本信息处理存在文本长、专业术语多、实体间关系复杂等问题,因此,提出一种基于ERNIEBi-GRU-Attention的医疗实体关系抽取模型。首先通过预训练模型ERNIE使向量获得丰富的语义信息和医疗先验知识,解决医疗专业术语问题;其次通过Bi-GRU-Attention进行语句编码,捕获有效上下文信息,有利于关系抽取;然后使用经典CRF输出实体标签;将实体标签特征和语句编码向量特征拼接进行一阶和二阶特征融合;最后通过分类器获得最终关系标签输出。通过在医疗数据集上验证,结果表明与其他模型相比,使用此模型医疗实体关系抽取的效果有所提升。

关键词：信息抽取关系抽取预训练 BiGRU 医疗文本