检索结果-南通市图书馆

基于BiGRU的药品评论方面级别情感分类方法研究

在线全文

学校读者我要写书评

暂无评论

基于BiGRU的药品评论方面级别情感分类方法研究

作者：韩悦东北林业大学

学位级别：硕士

在线医疗领域的兴起,使得人们开始通过在线平台对药品的使用情况、疗效等发表评论。针对这些评论展开情感分析的研究有助于了解药品的有效性、副作用等,也为治疗、护理提供参考。然而,由于药品评论存在表达主观性强、情感倾向隐晦且包... 详细信息

在线医疗领域的兴起,使得人们开始通过在线平台对药品的使用情况、疗效等发表评论。针对这些评论展开情感分析的研究有助于了解药品的有效性、副作用等,也为治疗、护理提供参考。然而,由于药品评论存在表达主观性强、情感倾向隐晦且包含一定医学领域词汇等间接难点,现有的研究大多数为句子或文档级别的粗粒度情感分类,不能更准确、全面地反应患者的态度。细粒度(方面级别)情感分类的研究则更加有限,可能是由于缺少相关的数据集;现有的方面级别情感分类方法应用于药品评论时,同时存在着忽略方面词语义而导致准确率不高的问题以及数据集稀疏而导致训练不充分的问题;此外,用户个体差异性、药品本身特性等都会对情感分类造成影响,且仅利用注意力机制无法动态获取文本丰富的特征表达,进而限制了分类的精度。针对以上问题,本文展开了关于药品评论的方面级别情感分类的研究。具体内容如下:(1)为了探究基于药品评论的方面级别情感分类方法,本文通过标注的方式提出了一个方面级别药品评论情感分类数据集SentiDrugs,并利用Kappa值验证了数据集的有效性。数据集SentiDrugs共包含4028条方面级别药品评论,其中每一条评论涉及到一个或者多个方面,情感极性分为三类:消极,中立和积极。该数据集为研究相关分类方法提供了重要的研究基础。(2)针对现有模型忽略方面词的语义对情感分类的积极作用和方面级别药品评论数据集规模有限而导致模型效果不理想的问题,本文提出了一种基于双BiGRU和知识迁移的情感分类模型PM-DBiGRU。其分别为方面词和药品评论建立BiGRU网络,以充分学习双向语义特征,再利用注意力机制进一步得到关于特定方面词的句子表示,使模型能够根据方面词的语义判断情感极性;此外,利用两种知识迁移的方法从具有语义相似性的大规模短文本级别药品评论中迁移语义知识,使得在方面级别数据集有限的条件下尽可能地提升分类效果:一是分层地将预训练模型的权重迁移到方面级别任务的模型中;二是利用多任务学习的方式共同训练方面级别和短文本级别任务,以进一步共享深层领域知识。实验结果表明,本文提出的模型PM-DBiGRU在数据集SentiDrugs上的分类效果与对比模型相比表现更佳。(3)PM-DBiGRU模型能够根据方面词的语义进行情感分类,并利用知识迁移方法获取领域知识,取得了较优的分类效果。但对其结果分析发现上述模型还存在着忽略用户个体差异性和药品本身特征的问题,另外非结构化表达方式使得一些药品评论结构复杂、表达隐晦,注意力机制固定编码的问题导致模型在一定程度上无法动态地获取更多的有效信息。针对上述问题,本文提出了基于动态路由和外部信息(用户信息和药品信息)的BiGRU药品评论情感分类模型DRBiGRU-UD。该模型除了考虑方面词外,还提取了用户和药品信息在句子中隐含的情感特征,以加深模型对句子的理解;此外,在注意力机制的基础上利用动态路由算法动态地捕捉语义信息、单词位置信息及语法结构等丰富的文本空间特征,以更好的进行分类;最后利用加权损失函数的方法来表征方面词、用户和药品信息的重要程度。实验结果表明了 DRBiGRU-UD模型在数据集SentiDrugs上的有效性。

关键词：细粒度情感分析药品评论 BiGRU 知识迁移动态路由

基于BiGRU模型的资源配置技术的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于BIGRU模型的资源配置技术的研究与应用

作者：姜甜甜中国科学院大学(中国科学院沈阳计算技术研究所)

学位级别：硕士

目前电力行业尚未有一套完善的企业资源智能配置系统,企业资源配置过程中往往涉及多个部门的流程审批,且审批时间长,导致企业资源不能即时使用。如何高效的配置资源是本文的重点,本文的目标是建立一个企业资源智能配置模型,管理人员处... 详细信息

目前电力行业尚未有一套完善的企业资源智能配置系统,企业资源配置过程中往往涉及多个部门的流程审批,且审批时间长,导致企业资源不能即时使用。如何高效的配置资源是本文的重点,本文的目标是建立一个企业资源智能配置模型,管理人员处理申请时,模型能够为管理人员提供决策支持,可以即申即批,高效的配置资源,降低资源配置的时间,提高工作效率。如今文本分类技术发展火热,为本文的资源智能配置或智能审批研究提供了技术支持。本文用文本分类的相关技术建模,并介绍用到的相关技术及建模思想,最后进行实验验证,与现有的模型作对比,验证模型的有效性。在自然语言处理领域中,文本分类是一项关键的日常任务,主要目标是从文本信息中获取有效特征,找到特征表示与类别标签之间的对应关系,从而对文本进行分类。从数据流向看,主要分为文本预处理、自然语言的向量表示、特征提取、分类器分类和模型训练五个阶段完成文本分类任务。本文主要专注于自然语言的向量表示和特征提取两个阶段,提出了一个BERT模型与双向GRU相结合并用自注意力机制调整权重的文本分类混合模型。在已有的深度学习模型中,Word2Vec词嵌入模型无法解决一词多义的问题,词向量表示的唯一性直接影响到文本序列的语义表示。经过在大规模数据上预训练的BERT模型可以根据所在句子学习到词的多种表示,从而可以在不同语境下动态的表示词向量,解决一词多义的问题。GRU可以从学习到的局部特征中学习到长期依赖关系,双向GRU能够学习句子中的隐藏特征。自注意力机制在自然语言处理中的多个领域中展现出优越的性能,可以挖掘数据的自相关性,通过调整关键词的权重来突出关键信息。因此,将双向机制与自注意力机制串联在一起,减少对外部信息的依赖,解决了由于缺少语义信息而导致的分类性能下降。因此,针对现有模型在词嵌入表示和文本全局信息建模方面上的不足,本文将双向GRU和自注意机制相结合用于提取深层语义特征,具体实现方法如下:基于BERT预训练语言模型作为词嵌入层,接入双向GRU层编码,整合语义信息,并以双向GRU的输出作为对应方向上的自注意力机制层的参数,减少无关信息的影响,两个方向的输出再经过平均池化和拼接,再与词嵌入层得到的句子特征融合,得到最终的特征表示,最后将文本的最终特征表示通过分类器来预测文本归属类别的概率。通过实验发现,模型在数据集上的精确度为92.34%。

关键词： BiGRU BERT 文本分类自注意力机制资源配置

基于BERT-BiGRU-CRF的医疗实体识别方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机时代 2023年第8期 24-27页

作者：胡稳张云华浙江理工大学信息科学与工程学院浙江杭州310018

为了优化医疗领域的中文实体识别效果,提出一种基于BERT-BiGRU-CRF的理论模型。首先将原始的问答数据传入到BERT模型中,对原始的问答数据完成词向量表示,词向量表示的数值矩阵被传入到BiGRU模型进行获取语句的上下文特征,最后针对原BiGR... 详细信息

为了优化医疗领域的中文实体识别效果,提出一种基于BERT-BiGRU-CRF的理论模型。首先将原始的问答数据传入到BERT模型中,对原始的问答数据完成词向量表示,词向量表示的数值矩阵被传入到BiGRU模型进行获取语句的上下文特征,最后针对原BiGRU模型标签问题的错误判定使用CRF模型进行修改。通过试验对比,模型最终得到的F1值为76.39%,相比较其他模型有所提升。

关键词： BERT BiGRU CRF 实体识别医疗

基于Att-BiGRU的演化关系抽取方法研究

在线全文

学校读者我要写书评

暂无评论

信息与电脑 2022年第11期34卷 59-61页

作者：朱睿莎赵林均沈海静湖北大学计算机与信息工程学院湖北武汉430062

针对传统方法在通用性、特征提取和事件所在上下文的深层语义等方面存在的问题,本文提出了一种基于注意力的双向门控循环单元(At tent ion Bidi rect iona l Gated Recur rent Uni t,At t-BiGRU)演化关系抽取模型。通过注意力机制与BiGR... 详细信息

针对传统方法在通用性、特征提取和事件所在上下文的深层语义等方面存在的问题,本文提出了一种基于注意力的双向门控循环单元(At tent ion Bidi rect iona l Gated Recur rent Uni t,At t-BiGRU)演化关系抽取模型。通过注意力机制与BiGRU的结合,来突出和强调指定词组对句子整体的一个贡献度,从而加强演化关系抽取中的关键词汇的语义和信息,最终提高事件抽取的准确性。实验结果表明,该模型用于突发事件演化关系抽取中抽取的演化关系的Precision、Recall和F_(1)值都取得了较高的值,相较于现有的一些方法有很大的提升。

关键词：关系抽取 BiGRU 注意力机制演化关系

基于增强多头注意力机制的Optuna-BiGRU测井岩性识别

在线全文

学校读者我要写书评

暂无评论

地球科学与环境学报 2024年第1期46卷 127-142页

作者：王婷婷王振豪李方赵万春东北石油大学电气信息工程学院黑龙江大庆163318 东北石油大学黑龙江省网络化与智能控制重点实验室黑龙江大庆163318 东北石油大学非常规油气研究院黑龙江大庆163318 东北石油大学陆相页岩油气成藏及高效开发教育部重点实验室黑龙江大庆163318

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种... 详细信息

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。

关键词：岩性识别深度学习 BiGRU 增强多头注意力机制小波包自适应阈值超参数优化

在线全文

学校读者我要写书评

暂无评论

基于LDA和BiGRU的文本分类

计算机技术与发展 2022年第4期32卷 15-20页

作者：冼广铭王鲁栋曾碧卿梅灏洋陶睿华南师范大学软件学院广东佛山528225

文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门... 详细信息

文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门控循环神经网络层(BiGRU)充分提取文本深度信息特征的分类方法。该方法主要使用的数据集是天池比赛新闻文本分类数据集,首先用Word2vec和LDA模型分别在语料库中训练词向量,Word2vec经过TF-IDF进行加权所得的词向量再与LDA训练的经过最大主题概率扩展的词向量进行简单拼接,拼接后得到文本矩阵,将文本矩阵输入到BiGRU神经网络中,分别从前后两个反方向提取文本深层次信息的特征向量,最后使用softmax函数进行多分类,根据输出的概率判断所属的类别。与现有的常用文本分类模型相比,准确率、F1值等评价指标都有了较高的提升。

关键词： LDA主题模型 BiGRU Word2vec 深度学习文本分类

基于BiGRU-TextCNN-XGBoost的短期光伏发电预测研究

在线全文

学校读者我要写书评

暂无评论

基于BiGRU-TextCNN-XGBoost的短期光伏发电预测研究

作者：彭进南昌大学

学位级别：硕士

随着全球能源逐渐紧缺,类似于太阳能等清洁能源受到各国青睐,大规模光伏发电站并入电网已然是大势所趋。然而,光伏发电易受温度,湿度,地理位置等因素影响,具有波动性与时序性的特点,大规模的光伏发电站并网会给大电网带来大量不稳定的因... 详细信息

随着全球能源逐渐紧缺,类似于太阳能等清洁能源受到各国青睐,大规模光伏发电站并入电网已然是大势所趋。然而,光伏发电易受温度,湿度,地理位置等因素影响,具有波动性与时序性的特点,大规模的光伏发电站并网会给大电网带来大量不稳定的因素,配电网的潮流分布变得更加复杂,配电规划难度提升,给电力调控部门带来巨大的工作负担。因此,精准的预测光伏发电功率是光伏发电站并入大电网稳定运行的重要保障,具有重大的研究意义。本文在研讨国内外相关文献的基础上,主要做了以下工作。首先,对某光伏发电厂的光伏发功率以及气象等数据进行数据分析(EDA,Exploratory Data Analysis)处理,探索各数据特征之间的相关性,例如光伏发功率与温度,湿度,光照强度等之间的相关性,筛选出与光伏发功率相关性高的特征做为预测模型的输入数据,来达到提高预测准确率的目的。并且对EDA数据分析后的数据集进行归一化处理,使得特征之间的差异尽可能减少。其次,分别改进现有的长短记忆神经网络(LSTM,Long Short-Term Memory)为双向门循环神经网络(BiGRU,Bi-Gated Recurrent Unit),卷积神经网络(CNN,Convolutional Neural Networks)为文本卷积神经网络(Text CNN,Text Convolutional Neural Networks),其输出结果作为数据的新特征输入至极限梯度提升决策树(XGBoost,Extreme Gradient Boosting)模型中,形成Stacking思想相结合的Bi GRU-Text CNN-XGBoost预测模型,极大程度上解决了由于数据的时序特性所带来的预测结果欠拟合问题与模型训练中出现的梯度爆炸或梯度消失等问题。最后,基于Python以及V100服务器对晴,雨,阴,雾,冰雹,雪六种天气分别建模,采用5折交叉法进行模型训练,并与CNN,LSTM,BiGRU,Text CNN和CNN-LSTM-XGBoost五种光伏发电功率预测方法进行实验对比。实验结果表明,BiGRU-Text CNN-XGBoost模型能大幅度提高光伏发电功率预测的准确率,具有较强的泛化能力,鲁棒性和可操作实际意义。

关键词：光伏发电 XGBoost BiGRU TextCNN 深度学习

基于BiGRU-CapsNet模型的文本分类研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于BiGRU-CapsNet模型的文本分类研究

作者：王盼盼陕西师范大学

学位级别：硕士

随着科学技术水平不断提高,互联网得到迅速发展,以互联网为纽带带动了包括商业贸易、服务业、娱乐休闲、公益等各个行业迅速发展,人们的生活方式、工作方式也产生了巨大的改变。文本作为网络信息的主要承载形式,数据量飞速增长,涉及的... 详细信息

随着科学技术水平不断提高,互联网得到迅速发展,以互联网为纽带带动了包括商业贸易、服务业、娱乐休闲、公益等各个行业迅速发展,人们的生活方式、工作方式也产生了巨大的改变。文本作为网络信息的主要承载形式,数据量飞速增长,涉及的领域也更加广泛,例如产生了大量电影评论、新闻信息、论坛交流信息、微博评论、商品评论等涉及多个产业领域的网络文本信息。这些文本信息数据量巨大,包含丰富的信息。将这些文本进行自动分类后可以了解发布信息者的真正意图,有助于经济的发展、各个行业带头企业的方向导航、政府的决策完善。近年来,深度学习（Deep Learning）作为人工智能领域最重要的进展,在诸多领域都有着惊人的表现。大量研究表明,相比于传统的机器学习算法,深度学习中的许多网络模型都能够获得更加出色的性能。基于BiGRU模型的文本分类是目前最主流的文本分类方法,在分类效果上有不错的表现。本文尝试在BiGRU模型的基础上,采用更加适合文本分类的深度学习算法进行文本分类模型搭建,主要工作包括以下几个方面:首先对文本分类的一般流程进行了概述,包括文本预处理、文本表示、文本特征提取、文本分类训练、文本分类以及性能评估。通过对各个步骤常用方法的研究以及文本分类本身特点的分析,进一步阐述了文本分类传统方法的诸多问题与难点,为后文分类方法的选取和分类网络模型的设计奠定了基础。其次阐述了 BiGRU网络与CapsNet网络的原理以及在文本分类领域的应用。为提高BiGRU网络模型文本分类性能,文中深入研究了 CapsNet的神经胶囊工作流程与动态路由机制,分别分析了 BiGRU网络和CapsNet网络在文本分类中的优势与不足,将BiGRU网络的双向循环机制与CapsNet网络的神经胶囊与动态路由机制结合起来,构建基于BiGRU-CapsNet的文本分类模型,对文本进行分类。最后在keras框架平台上搭建BiGRU-CapsNet模型对文本进行分类,并讨论影响BiGRU-CapsNet文本分类模型性能的各种因素。从神经网络迭代次数、截取文本的长度、激活函数的选择三个方面分别设置对比实验,对实验结果进行分析,得到最优的参数与函数设置。在此基础上利用该模型对其他数据集进行分类训练,验证模型的适用性,并将相同数据集分别在BiGRU文本分类模型与BiGRU-CapsNet文本分类模型上进行实验并对比分析。实验结果表明,相较于BiGRU文本分类模型,BiGRU-CapsNet文本分类模型能更有效的对文本进行分类,分类准确率更高,而且具有更好的适用性。

关键词： CapsNet BiGRU 词向量文本分类

基于TF-IDF和BiGRU神经网络的SQL注入攻击检测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于TF-IDF和BiGRU神经网络的SQL注入攻击检测研究

作者：徐冬冬广西大学

学位级别：硕士

互联网技术的高速发展,让Web应用程序逐渐成为互联网用户日常生活中非常重要的一部分。Web应用程序常常受到攻击,因此,用户在享受Web应用程序服务的同时,也面临着个人隐私信息泄露、财产遭受损失的风险。其中SQL注入攻击(Structured Que... 详细信息

互联网技术的高速发展,让Web应用程序逐渐成为互联网用户日常生活中非常重要的一部分。Web应用程序常常受到攻击,因此,用户在享受Web应用程序服务的同时,也面临着个人隐私信息泄露、财产遭受损失的风险。其中SQL注入攻击(Structured Query Language Injection Attack)是Web安全中最常见,同时也是对用户危害程度最大的攻击手段之一。因此,如何对SQL注入攻击进行准确有效地检测,是Web应用发展的重要前提,也是Web安全领域研究中重要的课题。目前,对于SQL注入攻击的主要检测方案包括用户输入过滤、解析树分析、指令集随机化以及参数查询等,但是这些方案存在对Web应用程序源代码的改动较大、开发周期长、部署难度高等问题。针对上述问题,本文对SQL注入攻击进行深入研究,提出一种工作在HTTP应用层,在不修改后台应用程序情况下的SQL注入检测方法。该方法通过对输入的SQL语句进行检测,将其分为正常SQL语句和SQL注入攻击语句两类。以此判断用户输入是否存在SQL注入攻击。本文的主要研究工作和成果如下:(1)针对词频-逆文本频率(Term Frequency-Inverse Document Frequency，TF-IDF)算法忽略特征词在SQL语句中位置与重要性的关系的不足,提出一种基于改进TF-IDF算法的SQL注入攻击检测方法。改进方案通过增加特征词的位置权重来修正TF-IDF。其中特征词的位置关系通过SQL语句的抽象语法树体现。并且在利用改进TF-IDF算法计算出SQL语句中特征词的权重后,按照降序排序,提取出满足任务要求的前K个特征词,达到对特征空间降维的目的,避免维数灾难的发生。其中,在SQL语句分词处理上,保留了 SQL注入攻击中容易出现的敏感符号,进一步保证了 SQL注入攻击检测特征词选取的完备性。通过与其他方法进行实验对比,结果表明基于改进TF-IDF算法的SQL注入攻击检测方法在数据集上的准确率,召回率,F1分数均提高了 10%以上。(2)提出一种基于AT-BiGRU-AdaBoost模型的SQL注入攻击检测方法。该方法采用双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)神经网络模型提取特征。另外,在BiGRU对SQL语句进行特征提取的同时,加入Attention机制加强对SQL语句的理解,提高重要部分的权重,降低非重要部分的权重,解决噪声的干扰问题。并且针对Softmax作为BiGRU神经网络分类器泛化能力不足的问题,在BiGRU神经网络提取特征后使用AdaBoost进行训练预测。AdaBoost的基分类器具有低方差高偏差等优势,使得集成模型更具稳定性,在一定程度上弥补了 Softmax作为BiGRU神经网络分类器泛化能力不足的问题。最后实验表明,在SQL注入攻击检测中,AT-BiGRU-AdaBoost模型相比BiGRU模型,在数据集上准确率和F1分数上均提高了 1.2%以上。

关键词： SQL注入 TF-IDF BiGRU Attention机制 AdaBoost