检索结果-南通市图书馆

基于位置增强词向量和GRU-CNN的方面级情感分析模型研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2024年第9期60卷 212-218页

作者：陶林娟华庚兴李波华中师范大学计算机学院武汉430079

方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度... 详细信息

方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度量公式获得增强的词向量表示;在上下文编码模型方面,使用GRU-CNN网络提取文本语义特征。在SemEval2014 Task4数据集上的实验表明,提出的模型在Restaurant和Laptop领域中的准确率分别达到了85.54%和80.35%,证实了所提出模型的有效性。

关键词：方面级情感分析卷积神经网络预训练词向量位置函数注意力机制

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于词向量预训练的不平衡文本情绪分类

中文信息学报 2019年第5期33卷 132-142页

作者：林怀逸刘箴柴玉梅刘婷婷柴艳杰宁波大学信息科学与工程学院浙江宁波315211 郑州大学信息工程学院河南郑州450001

深度学习中处理不平衡问题的方法多为代价敏感和采样。该文在词向量迁移的基础上提出预训练任务选择方法。用利于小类别区分的预训练词向量来初始化目标模型,并结合均衡过采样充分利用样本信息保持模型在大类别上的精度,使模型提取的文... 详细信息

深度学习中处理不平衡问题的方法多为代价敏感和采样。该文在词向量迁移的基础上提出预训练任务选择方法。用利于小类别区分的预训练词向量来初始化目标模型,并结合均衡过采样充分利用样本信息保持模型在大类别上的精度,使模型提取的文本特征在大小类别上具有公平性,从特征层面实现了平衡效果。实验结果表明,在文本情绪分类任务中,对比过采样方法,该方法在大部分无严重过拟合情况下有更好的平衡效果。当存在较严重过拟合时,该方法在目标分类数为三时平衡效果显著,并通过实验验证了预训练方法可与代价敏感方法相结合提升平衡性能。

关键词：不平衡分类情绪分类均衡过采样预训练词向量

基于增强词向量和图卷积神经网络的方面级情感分析研究

在线全文

学校读者我要写书评

暂无评论

基于增强词向量和图卷积神经网络的方面级情感分析研究

作者：陶林娟华中师范大学

学位级别：硕士

随着社交媒体和电子商务的普及,人们越来越倾向于在网络平台上发表一些对事物的评价,这些评价文本中蕴含的情感信息对于网络用户、企业以及政府等均有很大的参考价值,对这些文本数据进行方面级情感分类(ASC)是十分有意义的。对此研究者... 详细信息

随着社交媒体和电子商务的普及,人们越来越倾向于在网络平台上发表一些对事物的评价,这些评价文本中蕴含的情感信息对于网络用户、企业以及政府等均有很大的参考价值,对这些文本数据进行方面级情感分类(ASC)是十分有意义的。对此研究者们已经提出了许多方法,然而目前ASC任务中还是存在一些难点。首先,从最底层的词语表征上来看,在实际中缺乏针对ASC任务特点的词语表征方式。其次,从文本特征提取方面来看,现有模型缺乏对句法信息的关注,无法对句子有全面的了解。对于上述问题,本文在已有研究的基础上进行改进,主要的研究工作如下:(1)本文提出了位置增强的词向量表示。首先,本文提出使用BERT模型获取更为准确的词语表征。同时,我们发现和目标方面词相关度较高的上下文往往集中在该方面词的附近。因此提出位置权重公式,将由位置权重公式得到的位置权重系数与通过BERT模型得到的词向量表示对应相乘,从而得到针对目标方面词的上下文表示。实验表明,这种词语表征方式对ASC任务的提升是有效的。(2)本文设计了一种新颖高效的GRU-GCN模型来提取文本特征。本文发现有一些词语虽然距离方面词较远或者分布比较分散,但实际上是和方面词情感有关的词语,在句法上是有关联的。为了充分利用句子中的相关句法信息,本文设计使用GRU-GCN网络。具体来说,通过GRU网络提取文本时序特征,再使用基于句子依赖树的GCN网络根据句法距离识别方面词情感相关的词语。实验表明,所提出的模型具有较强的文本特征提取能力,模型取得了不错的效果。本文研究表明,位置增强的词向量表示方式可以得到针对于特定方面词的句子表示,充分利用方面词的位置信息有利于提高方面级情感分类的效果;同时,使用基于句子依赖树的图卷积神经网络可以充分利用句子的句法信息,实现更准确的文本特征提取,提高方面级情感分类的效果。

关键词：方面级情感分类预训练词向量位置函数图卷积神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力卷积神经网络的中文虚假评论检测

广西师范大学学报（自然科学版） 2023年第5期41卷 26-36页

作者：吴正清曹晖刘宝锴中国民族语言文字信息技术教育部重点实验室(西北民族大学) 甘肃兰州730030

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依... 详细信息

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F1值分别提高4.74和3.86个百分点。

关键词：虚假评论检测注意力机制卷积神经网络预训练词向量

基于新闻文本的企业事件关键要素识别方法研究

在线全文

学校读者我要写书评

暂无评论

基于新闻文本的企业事件关键要素识别方法研究

作者：田陇宁上海财经大学

学位级别：硕士

近些年来,互联网迅速发展,人们不受时间、地点的的限制可以快速地获取需要的信息和知识。随着新闻媒体以及传播手段的发展和普及,网络上产生了海量的文本数据,其中蕴含着丰富的信息。事件抽取作为自然语言处理领域中的研究重点,旨在从... 详细信息

近些年来,互联网迅速发展,人们不受时间、地点的的限制可以快速地获取需要的信息和知识。随着新闻媒体以及传播手段的发展和普及,网络上产生了海量的文本数据,其中蕴含着丰富的信息。事件抽取作为自然语言处理领域中的研究重点,旨在从非结构化的信息中获取人们关注的内容。新闻文本是一种重要的信息资源,基于内容的新闻文本事件抽取能从大规模的新闻文本数据集中发现关联知识和关联规则,挖掘文本深层次的语义内涵,可应用于情感分析、信息检索等任务,有利于预测、规划和辅助决策,有效提高信息处理效率。本研究的主要任务是基于中文新闻文本这个非结构化的数据展开事件关键要素抽取。为了充分利用新闻中包含的信息、验证所选择方法以及对其改进优化的效果,本文主要是从新闻中的事件类型的识别以及事件企业名称的抽取这两个事件关键要素抽取出发来进行探究。希望从对于事件类型识别以及对公司主体识别的角度出发探索和改进,从而能够为其他事件关键要素的识别抽取提供思路和方法。现有的事件抽取的方法大多都是在有触发词的标注的语料上进行的,但因为触发词与事件类型之间不唯一的对应关系有待进一步的研究,同时由于基于触发词的方式忽视了上下文的关系,会影响事件类型判定的准确性等等,因此基于触发词的识别方式存在一定的缺陷和局限性。考虑到类型识别任务中利用触发词并非是必须的,同时无需触发词的文本事件类型识别的问题也有待深入研究,因此本研究直接从篇章级的新闻文本出发,来识别其中的新闻事件关键要素。主要方法是通过将事件元素和上下文信息进行特征融合,得到含有事件类型信息的文本特征,接着构建相关的事件识别分类器对包含事件类型信息的文本特征进行分类研究。随着新闻文本量的增加和复杂度提升,传统人工分类的弊端开始出现:人工新闻文本分类效率较低,且易受主观因素影响,导致准确率偏低。近年来,基于神经网络的文本分类方法不断涌现,这些方法从大规模文本数据中自动提取文本深层特征并进行分类,分类效率和准确率都较高,解决了人工分类存在的问题。大部分的中文新闻都存在着一些特点:(1)大多数新闻文本结构多样,其中存在特殊符号、停用词等一些与信息提取无关的字眼,在此基础上进行的事件识别问题通常要和分词、去除停用词等预处理手段结合在一起,以达到更为准确的信息提取目标。(2)新闻文本信息密度高而且分布不均衡,区别于单分类的问题,同一篇新闻中可能指示了多种事件类型,在抽取的时候需要将多种事件类型识别出来,同时需要在这种情况下选择评估指标并且基于所选择的指标探索模型的效果提升。(3)在中文新闻中,公司主体的表达方式可能是多样化的,例如有无后缀的、是否简称的等等,需要针对实体表达的特点,对实体识别的过程进行优化。基于上述的问题,本研究首先从中文文本的预处理出发,对新闻中的事件类型进行识别。基于同一篇新闻中可能指示了多种事件类型的事实,本研究主要从多标签的文本分类入手,以提升语义表达能力、提高分类准确性为目标,探究文本多标签分类任务中的文本向量化表示和分类模型的构建,并在此基础上对基础的模型不断改进优化。其次,对于新闻中的公司主体而言,本研究主要采用的方法是结合高质量完备的公司语料库来对公司的名称进行识别,并在识别的过程中综合考虑公司名称实体表达的特点,针对名称表达时有无后缀的情况、全称或者简称的问题对识别的过程进行了优化。

关键词：深度学习多标签分类预训练词向量对抗训练 Focal Loss R-Drop

基于AlBert-Tiny-DPCNN的案件事实倾向性类别预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

智能计算机与应用 2023年第4期13卷 91-96页

作者：施君可浙江理工大学信息学院杭州310018

近年来,随着智慧司法的推进,中国裁判文书作为重要的研究对象,衍生了诸多任务,但针对裁判文书的研究大多基于刑事案件,缺乏对民事案件领域下的研究。本文结合预训练词向量、文本分类模型等技术,对民间借贷这一细分领域下的案件事实标签... 详细信息

近年来,随着智慧司法的推进,中国裁判文书作为重要的研究对象,衍生了诸多任务,但针对裁判文书的研究大多基于刑事案件,缺乏对民事案件领域下的研究。本文结合预训练词向量、文本分类模型等技术,对民间借贷这一细分领域下的案件事实标签预测进行研究,为现有的案件事实提供同类别的有参考价值的裁判文书,减少相关工作者在大量数据中寻找所耗费的时间。本文提出了基于Albert-Tiny-DPCNN的分类模型,该模型采用注意力机制与标签平滑归一化技术来提高模型的精度,并在实验数据集上验证了模型的有效性。

关键词：深度学习裁判文书文本分类预训练词向量

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于迁移学习的个性化循环神经网络语言模型

南京理工大学学报 2018年第4期42卷 401-408页

作者：徐萍吴超胡峰俊吴凡林建伟刘静静浙江树人大学信息科技学院浙江杭州310015 浙江大学计算机科学与技术学院浙江杭州310058

针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识... 详细信息

针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能。模型的实验以电视剧Seinfeld角色为基础。结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65%,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38%,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题。

关键词：语言模型个性化循环神经网络迁移学习小数据集预训练词向量

在线全文

学校读者我要写书评

暂无评论

基于深度学习的中文机器阅读理解研究及实现

基于深度学习的中文机器阅读理解研究及实现

作者：陈辉龙重庆邮电大学

学位级别：硕士

机器阅读理解作为自然语言处理领域的热门研究课题之一,意义在于使机器理解文本语义并具备推理、提炼文本信息并回答相关问题的能力。得益于不断发展的深度学习技术以及大规模机器阅读理解数据集的发布,大量优秀的模型不断被提出和改进... 详细信息

机器阅读理解作为自然语言处理领域的热门研究课题之一,意义在于使机器理解文本语义并具备推理、提炼文本信息并回答相关问题的能力。得益于不断发展的深度学习技术以及大规模机器阅读理解数据集的发布,大量优秀的模型不断被提出和改进,从而推动着机器阅读理解技术的发展和进步。然而现有的大部分机器阅读理解模型仍然具有以下问题:传统的词向量生成技术不能很好地捕获语义信息、效率较低;BiLSTM技术对文章和问题进行编码和建模,在数据量大的任务上不仅时间开销大,而且对距离较长的上下文语义信息不能很好地进行编码;问题和文章的语义信息没有足够的交互融合,使模型无法很好地从文章中找到对回答问题有帮助的部分。基于此,本文基于DuReader2.0数据集,通过改进DuReader基线模型BiDAF的嵌入层、编码层和建模层,构建了一种基于膨胀组合单元和自注意力机制的中文机器阅读理解模型,该模型不仅时间开销小,而且回答问题的准确率较高。本文的主要研究工作如下:第一,改进模型。为了改善现有模型存在的问题,首先使用预训练好的词向量代替随机初始化词向量对问题和文章进行词嵌入,然后使用膨胀组合单元代替BiLSTM分别对问题和文章进行编码,最后使用自注意力机制代替BiLSTM对问题和文章进行语义建模。第二,为了验证改进模型的有效性,本文在大规模中文机器阅读理解数据集DuReader2.0上进行了对比实验。实验结果表明:相比DuReader基线模型BiDAF和Match-LSTM,本文改进模型无论从时间开销,还是从模型回答问题的准确性上来说,都是较优的模型。第三,利用pythonweb技术设计并实现一个基于Web的中文机器阅读理解系统。该系统在改进模型的基础上,秉持高内聚、低耦合的设计原则,采用Django框架分模块进行实现,并从多个角度对其进行了测试。

关键词：机器阅读理解深度学习膨胀组合单元自注意力机制预训练词向量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

知识增强的新闻事件识别技术研究

知识增强的新闻事件识别技术研究

作者：洪旸上海交通大学

学位级别：硕士

随着互联网和自媒体的发展,在线新闻的规模与传播范围得到了极大的扩展。面对海量的在线新闻文本,如何根据其描述的内容对其进行划分和聚集,以实现新闻事件识别,是一个值得研究的问题。这一技术不仅有利于各种组织机构及时、准确地发现... 详细信息

随着互联网和自媒体的发展,在线新闻的规模与传播范围得到了极大的扩展。面对海量的在线新闻文本,如何根据其描述的内容对其进行划分和聚集,以实现新闻事件识别,是一个值得研究的问题。这一技术不仅有利于各种组织机构及时、准确地发现新闻事件,而且是把握热点舆情、分析开源情报等自然语言处理任务的基础步骤。从技术层面看,部分现有的新闻事件识别算法仅考虑了语料的统计特征,却忽略了实体信息、同义词、一词多义等语义知识,增加了模型的过拟合风险,并降低了其可解释性。针对上述问题,本文研究了知识增强的新闻事件识别技术,利用知识库/知识图谱、预训练词向量等外部知识源提升现有方法的性能。该技术以知识增强的文本主题模型为核心,综合主题建模、文本聚类、相似事件识别与分离、跨聚类事件融合等步骤,实现海量文本中新闻事件的识别。基于服务化的系统设计思路,设计并实现了支持流式处理的新闻事件识别与分析系统,不仅实现了事件识别方法的工程化,还支持多种面向用户的事件分析功能。本文的主要工作与创新如下:（1）提出并实现了知识增强的文本主题模型针对传统的潜在狄利克雷分配模型（LDA）过度依赖语料统计特征的问题,提出词语级语义知识增强的主题模型TSE-LDA（Token-Level Semantic Enhanced LDA）。该模型以知识库/知识图谱为外部知识源,以实体链接为沟通知识源和训练语料的手段,在传统LDA模型中添加语义单元结构,为模型提供面向实体的同义词和一词多义信息。在此基础上,将Word2Vec预训练词向量融入TSE-LDA模型,得到融合预训练词向量的知识增强主题模型WVTSELDA（Pretrained Word Vectors and Token-Level Semantic Enhanced LDA）。预训练词向量不仅为模型提供了数量可观的潜在特征,也令其能够更好地利用词语间的关联关系。本文从主题内聚性和文本分类准确率两个指标入手,综合定性定量两种方式评估了模型的效果。实验结果显示,本文提出的模型在上述两个评价指标上的表现均较为优秀。（2）提出并实现了基于知识增强主题模型的新闻事件识别方法新闻事件的识别包括文档主题特征提取、单批次事件识别和全局事件识别三个主要流程。文档主题特征提取流程使用WVTSE-LDA模型进行文档主题建模。针对模型潜在主题数的设置问题,采用基于主题稳定性的潜在主题数设定方法,实现模型超参数的自适应选择。单批次事件识别通过对某一新闻文本集合进行聚类来识别可能的新闻事件。针对新闻文本的聚类问题,采用近邻传播聚类算法加以解决;针对某个文本聚类可能包含多个相似新闻事件的问题,提出基于时间和事件参与者特征的相似事件识别与分离方法,形成包含单个新闻事件的文本聚类。另外,两个批次的文本聚类可能反映同一个新闻事件。为解决这一问题,提出基于文本语义单元表示的跨聚类事件融合方法,实现全局层面的事件识别。定量评估结果显示,上述技术在测试数据集上取得了较为理想的效果,可以满足新闻事件识别的功能要求。（3）设计并实现了支持流式处理的新闻事件识别与分析系统为实现知识增强的文本主题模型和基于这一模型的新闻事件识别方法,设计并实现了支持流式处理的新闻事件识别与分析系统。通过Apache Flink框架,实现新闻数据的流式处理。基于新闻事件的识别方法,设计并实现了若干面向用户的新闻事件分析服务,提供事件走势分析、事件词云生成、热门观点获取等上层的事件分析功能。

关键词：新闻事件识别主题模型文本特征提取语义知识预训练词向量