检索结果-南通市图书馆

基于改进ERNIE-DPCNN模型的中文文本分类

在线全文

学校读者我要写书评

暂无评论

江苏师范大学学报（自然科学版） 2021年第1期39卷 47-52页

作者：牛玉婷陈伯琪陈彬江苏师范大学数学与统计学院江苏徐州221116

利用自然语言处理中一种基于字向量的增强语言表征模型--ERNIE,通过随机隐藏部分字、词组、实体语义单元,预测上下文实现语言表征,并将ERNIE预训练模型输出的词向量输入到改进的DPCNN模型,形成改进的ERNIE-DPCNN模型,用于中文文本分类.... 详细信息

利用自然语言处理中一种基于字向量的增强语言表征模型--ERNIE,通过随机隐藏部分字、词组、实体语义单元,预测上下文实现语言表征,并将ERNIE预训练模型输出的词向量输入到改进的DPCNN模型,形成改进的ERNIE-DPCNN模型,用于中文文本分类.通过实例将改进的ERNIE-DPCNN模型与ERNIE、BERT、BERT-dpcnn、ERNIE-CNN、ERNIE-RNN、ERNIE-dpcnn 6类模型在准确率、精确率、召回率、运行时间等指标上进行对比,结果表明,改进的ERNIE-DPCNN模型均优于其他模型.

关键词：文本分类 ERNIE模型 DPCNN模型改进的ERNIE-DPCNN模型 BERT模型

基于预训练模型融合深层特征词向量的中文文本分类

在线全文

学校读者我要写书评

暂无评论

上海理工大学学报 2023年第2期45卷 189-197,204页

作者：汤英杰刘媛华上海理工大学管理学院上海200093

为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况,提出一种基于预训练模型(Roberta)融合深层特征词向量的深度神经网络模型,处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语... 详细信息

为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况,提出一种基于预训练模型(Roberta)融合深层特征词向量的深度神经网络模型,处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量,使用DPCNN模型和改进门控模型(RGRU)对词向量进行特征提取和融合,得到含有深层结构和局部信息的特征词向量,将句子向量与特征词向量融合在一起得到新向量。最后,新向量经过softmax激活层后,输出结果。在实验结果中,以F1值、准确率、召回率为评价标准,在THUCNews长文本中,这些指标分别达到了98.41%,98.44%,98.41%。同时,该模型在短文本分类中也取得了很好的成绩。

关键词：预训练模型 Roberta模型 DPCNN模型特征词向量中文文本分类

基于ERNIE及改进dpcnn的棉花病虫害问句意图识别

在线全文

学校读者我要写书评

暂无评论

山东农业科学 2024年

作者：李东亚白涛香慧敏戴硕王震鲁新疆农业信息化工程技术研究中心新疆科信职业技术学院新疆农业大学计算机与信息工程学院智能农业教育部工程研究中心

针对目前没有公开的棉花病虫害相关问句数据集且问句较短、类型多样等问题，本研究通过查阅文献及咨询领域专家，构建了棉花病虫害问句数据集CQCls，定义了78种棉花病虫害实体和9种问句类型；同时提出了一种基于ERNIE预训练模型的棉花... 详细信息

针对目前没有公开的棉花病虫害相关问句数据集且问句较短、类型多样等问题，本研究通过查阅文献及咨询领域专家，构建了棉花病虫害问句数据集CQCls，定义了78种棉花病虫害实体和9种问句类型；同时提出了一种基于ERNIE预训练模型的棉花病虫害问句意图识别模型，首先通过ERNIE模型将输入问句映射到向量空间，使用融合词位置信息的DPCNN模型进行特征向量的抽取，与基础的DPCNN模型相比，通过融合词位置信息能有效提高模型的表达能力，然后经过Softmax得到最终结果。实验结果表明，本研究提出的意图识别模型相较于其他模型取得了较好的结果，宏平均和加权平均的F1值分别为97.45%和97.31%；在文本语料数据内容复杂多样且文本格式不规范的DMSCD数据集上，训练结果中不同类别的F1分数的权重平均也能达到73.42%，进一步证明了该模型的有效性及泛化能力。

关键词：棉花病虫害问句意图识别 ERNIE模型 DPCNN模型词位置信息

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多模型融合的跨站脚本攻击检测研究

基于多模型融合的跨站脚本攻击检测研究

作者：郭圣圣大连海事大学

学位级别：硕士

随着信息科技的快速发展,互联网已经深入到人们日常生活的方方面面,网络安全问题也日益凸显。跨站脚本攻击是一种常见的Web攻击手段,攻击者通过在网页链接和Web页面注入恶意脚本盗取用户信息,从而对网络安全构成威胁。传统的XSS攻击检... 详细信息

随着信息科技的快速发展,互联网已经深入到人们日常生活的方方面面,网络安全问题也日益凸显。跨站脚本攻击是一种常见的Web攻击手段,攻击者通过在网页链接和Web页面注入恶意脚本盗取用户信息,从而对网络安全构成威胁。传统的XSS攻击检测方法在词嵌入阶段未能很好地捕捉词与词之间的依赖关系,在特征提取阶大多采用单一特征表示方法,使得提取的特征表征能力存在欠缺,从而影响检测效果。针对上述问题本文提出一种基于多模型融合的跨站脚本攻击检测方法,通过结合各个模型的优势,使得模型表征更全面,再通过大量数据自主学习更深层的XSS攻击特征与依赖关系,从而提升检测准确率与泛化能力。本文的主要研究内容如下:1.本文提出将ALBERT模型应用于跨站脚本攻击检测的词嵌入阶段。针对XSS攻击的特性,使用ALBERT模型生成词向量,它通过双向的Transformer机制,可以在词嵌入阶段捕捉更多数据中的依赖关系,同时它的动态掩码与顺序预测任务能够提取出潜在的XSS攻击特征,从而提升模型在词向量生成阶段的表征能力。2.本文提出了基于LN-Bi LSTM-dpcnn特征融合的跨站脚本攻击特征提取方法。针对跨站脚本攻击具有局部关键词和上下文依赖的特点,在特征提取层使用双向长短期记忆网络(Bi LSTM)和深度金字塔卷积神经网络(dpcnn)并行提取数据特征信息,并对其进行改进。Bi LSTM能够充分从数据提取更深层次上下文依赖特征,在其双向的神经网络单元中引入层归一化(LN)机制,减轻因网络层数加深而带来梯度消失或梯度爆炸的问题;利用结合Mish激活函数的dpcnn,逐层卷积可以更有效地提取局部特征信息,其中Mish激活函数具有更平滑的性质,有助于在训练过程中保持良好的梯度传播。将并行提取结果进行融合,使得提取的XSS特征更加全面,以提升模型的准确率与泛化能力。最后使用全连接层与Softmax分类器得出检测结果。3.本文通过实验评估了多模型融合的检测模型(ALBERT-LN-Bi LSTM-dpcnn,ALBD)的检测效果和泛化能力,并在此基础上搭建检测系统。实验分析过程中,在CSIC&CIC-IDS数据集的基础上使用爬虫技术收集数据集构成XSSpayloads数据集,并对两个数据集分别进行预处理。通过对比实验和消融实验对模型进行深入分析,结果表明,本文提出的检测方法相较于其他方法在准确率、F1值上均有提高,并通过对不同数据集的实验验证了ALBD融合模型的泛化能力。最后本文在提出多模型融合检测方法的基础上设计并实现了跨站脚本攻击检测系统。

关键词：跨站脚本攻击 ALBERT模型双向长短时记忆网络 DPCNN模型

基于BERT和dpcnn的电商客服对话意图分类

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

北京信息科技大学学报（自然科学版） 2022年第2期37卷 93-98页

作者：曾伟桂段中钰北京信息科技大学信息与通信工程学院北京100101

针对消费者在与电商客服对话过程中的意图分类问题,提出了一种基于BERT词嵌入结合DPCNN模型及自注意力机制的BDCA深度学习算法。该算法采用BERT模型作为用户意图文本的词嵌入层进行预训练的词向量表示,借助DPCNN模型结构获得文本更全局... 详细信息

针对消费者在与电商客服对话过程中的意图分类问题,提出了一种基于BERT词嵌入结合DPCNN模型及自注意力机制的BDCA深度学习算法。该算法采用BERT模型作为用户意图文本的词嵌入层进行预训练的词向量表示,借助DPCNN模型结构获得文本更全局的特征,同时结合自注意力机制和卷积神经网络提取文本的关键词特征,最后拼接融合两组特征输入到Softmax分类器进行分类。通过与TextCNN、BiGRU等语言模型在测试集上的对比实验,验证了该算法在电商客服对话意图分类上的有效性。

关键词： BERT模型 DPCNN模型自注意力机制意图分类

在线全文

学校读者我要写书评

暂无评论

基于深度语义融合特征的情感文本分类

基于深度语义融合特征的情感文本分类

作者：陈维南京邮电大学

学位级别：硕士

随着社交媒体的飞速发展,大量的网民在社交媒体上针对新闻、产品等各领域发表自己的看法,从而产生大量带有情感类别的数据。由于情感文本在特征表达上会出现语义信息不丰富、情感词不敏感等问题,从而影响了情感文本分类的准确性。基于此... 详细信息

随着社交媒体的飞速发展,大量的网民在社交媒体上针对新闻、产品等各领域发表自己的看法,从而产生大量带有情感类别的数据。由于情感文本在特征表达上会出现语义信息不丰富、情感词不敏感等问题,从而影响了情感文本分类的准确性。基于此,本文主要研究内容有如下三个方面:(1)针对情感文本分类技术,提出了一种新的基于知识增强的语义表示(Enhanced Language Representation with Informative Entities,ERNIE)预训练模型对情感文本进行向量表示,结合softmax回归分类算法对情感文本进行分类。ERNIE预训练模型是在双向Transformer编码器(Bidirectional Encoder Representations from Transformers,BERT)预训练模型基础上提出的多阶段知识遮蔽策略,将字遮蔽上升为短语和实体层面的遮蔽。通过遮蔽策略丰富情感文本语义信息从而提升情感文本分类准确性。实验结果显示ERNIE预训练模型在疫情期间网民在微博上发表的情感文本上分类准确率比BERT预训练模型提高3.56%,比AttentionBi LSTM(Bi-directional Long Short-Term Memory,Bi LSTM)模型提高21.44%,证明所提模型的有效性。(2)针对情感文本分类技术,提出了一种ERNIE-dpcnn融合模型情感文本分类算法。将ERNIE预训练出的情感文本向量输入到深度金字塔卷积神经网络(Deep Pyramid Convolutional Neural Networks For Text Categorization,dpcnn)模型中来进行下游任务的训练,结合softmax回归分类算法对情感文本进行分类。由于DPCNN模型随着网络层数不断增加,使提取的情感文本特征包含深层次的上下文信息。若与ERNIE预训练模型相结合,则既可以使情感文本特征获得丰富的先验知识,又可以根据下游任务获取更深层次的上下文语义信息来提升情感文本分类准确性。实验结果表明所提ERNIE-dpcnn融合模型在疫情期间网民在微博上发表的情感文本识分类上准确率比BERT预训练模型提高3.64%,比AttentionBi LSTM模型提高21.52%,比BERT-Text CNN融合模型提高4.55%,比ERNIE预训练模型提高0.08%,证明所提模型的有效性。(3)针对情感文本分类技术,引入Attention机制,提出了一种ERNIE-AT-DPCNN模型情感文本分类算法。该算法将ERNIE预训练出的情感文本向量输入到Attenion机制得出注意力词向量,在输入DPCNN模型中来进行下游任务的训练,结合softmax回归分类算法对情感文本进行分类。由于Attention机制可以让神经网络隐层分配不同的概率权重,使得类似情感词的关键节点信息得到有效关注来提升情感文本分类准确性。实验结果显示所提的引入Attention机制方法在疫情期间网民在微博上发表的情感文本分类上准确率与对比模型相比达到最高,证明所提模型的有效性。

关键词：情感文本分类 BERT模型 ERNIE模型 DPCNN模型 Attention机制