检索结果-南通市图书馆

作者：张剑清华大学

学位级别：硕士

在本文中,我们提出了基于概念的文本表示模型。该模型以WordNet语言本体库为主要的概念知识源,即将该本体库中的每个同义词集合看作是能表示明确语义的一个概念,再将文本中的词条均用与该词条对应的概念来代替,也就是用在本体库中该词... 详细信息

在本文中,我们提出了基于概念的文本表示模型。该模型以WordNet语言本体库为主要的概念知识源,即将该本体库中的每个同义词集合看作是能表示明确语义的一个概念,再将文本中的词条均用与该词条对应的概念来代替,也就是用在本体库中该词条所属的同义词集合来代替,建立文本的概念向量空间作为文本特征向量空间,同时考虑概念间的上下位关系,调整特征向量空间的各维度的权值,从而体现出文本中更抽象的语义信息。本文中我们提出两个基于概念的文本表示模型(Text Representation Model based on Concept,简称TRMC),一个适用于文本分类(TRMC for Text Categorization,简称TRMC-TCA),一个适用于文本聚类(TRMC for Text Clustering,简称TRMC-TCL)。其中TRMC-TCA,我们在处理训练文本集合时,使用训练文本的类别信息,修正表示训练文本特征的概念向量的权值,即将概念的反类别频度作为概念向量的权值影响因子之一。为了测试TRMC-TCA和TRMC-TCL的效果,我们进行如下两组实验:一组实验是使用路透社RCV1新闻文本集合,对TRMC-TCA与基于词条的向量空间的文本表示模型,使用相同的文本分类算法进行性能比较。实验结果显示,我们的TRMC-TCA在训练文本集合很小时,能保证令人满意的分类精度;在训练文本集合较大时,在不影响分类性能的前提下,能保持文本特征向量空间的维度在可控的范围之内。第二组实验是使用20新闻组(20Newsgroups)文本集合,对TRMC-TCL与基于词条的向量空间的文本表示模型,使用相同文本聚类算法进行性能比较。实验结果显示,采用层次聚类算法时,我们的TRMC-TCL能有效地提高聚类的性能。

关键词：文本表示 WordNet 概念向量空间

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多样化文本表示的文本分类研究

基于多样化文本表示的文本分类研究

作者：李念奇南京大学

学位级别：硕士

文本分类是自然语言处理领域一项非常重要的基础工作,在学术界与产业界均得到广泛的应用与研究。提升文本表示质量是改进文本分类的重要途径。文本是由字或字符构成词,由词构成短语,再由短语构成句、段、节、章、篇等。机器学习算法无... 详细信息

文本分类是自然语言处理领域一项非常重要的基础工作,在学术界与产业界均得到广泛的应用与研究。提升文本表示质量是改进文本分类的重要途径。文本是由字或字符构成词,由词构成短语,再由短语构成句、段、节、章、篇等。机器学习算法无法对文本直接进行处理,需要转化成特定的格式作为机器学习模型的输入。文本表示是将文本数字化的过程,将文本表示成机器学习模型可以识别的实数向量或矩阵的形式。文本表示的核心是真实地反映文本内容的同时,对不同的文本保持区分度。文本数据包含多样化的内容特征,如主题、语言风格、情感倾向等。每个内容特征分别包含文本不同的关键信息点。当前的文本表示方法,如向量空间模型、主题模型、词向量模型等,均只生成单一的文本表示。使用单一的文本特征还原具有多样化内容特征的文本信息,会削弱文本不同内容特征的特征描述,不利于还原文本的真实内容。针对该问题,本文提出一种新的文本表示方式方法,即多样化文本表示。本文认为,使用多样化的内容特征,可以增强特征提取的能力,更好的还原文本的真实信息。多样化文本表示是一种使用无监督学习强化特征提取的方法,其关键在于如何获取多样化的文本表示。本文提出了如下三种解决方案:*** K-Means模型。Alter k-Means模型可以生成多组、差异较大的聚类,每个聚类对应一组表示向量。聚类的差异性将在下文中进行详细描述。每个聚类的一组表示向量作为基底,将样本映射到新的特征空间当中,通过捕获样本在新的特征空间当中的位置信息,强化对样本的特征提取。*** LDA模型。Alter LDA模型是对主题模型LDA的泛化。可以生成多组、差异较大的主题结构,捕获文本在不同主题结构下的特征表示。Alter LDA模型使用“主题-词”分布描述文本的主题结构,使用“文档-主题”分布作为样本的特征表示,主题结构的差异将使用KL散度进行度量。3.横向多样化文本表示模型。横向多样化文本表示模型使用不同的文本表示模型,分别挖掘文本数据中不同的内容特征,生成差异较大、包含不同特征信息的文本表示。实验结果表明,多样化文本表示可以提升文本分类的效果。同时,多样化文本表示相较于已有的文本表示方法有着明显的降维效果。

关键词：文本表示多聚类多样化特征文本分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于对抗训练的文本表示与文本分类方法研究

基于对抗训练的文本表示与文本分类方法研究

作者：张晓辉北京交通大学

学位级别：硕士

文本表示与文本分类被广泛的应用于网页拦截,邮件信息过滤和信息检索等领域,属于自然语言处理的基本任务。目前的基于深度神经网络的文本表示与文本分类模型虽然取得了很好的效果,但是在实践中被证明容易出现过拟合问题。近年来,将对抗... 详细信息

文本表示与文本分类被广泛的应用于网页拦截,邮件信息过滤和信息检索等领域,属于自然语言处理的基本任务。目前的基于深度神经网络的文本表示与文本分类模型虽然取得了很好的效果,但是在实践中被证明容易出现过拟合问题。近年来,将对抗训练方法应用于自然语言处理领域,通过在深度神经网络中添加对抗扰动,降低模型对于对抗扰动的敏感性,能够有效地缓解模型过拟合。因此,本文研究基于对抗训练的文本表示与文本分类方法,论文主要工作如下:(1)设计了基于语言模型对抗训练的文本表示与文本分类模型LM-LSTMAdv T。LM-LSTM-Adv T模型首先训练基于长短时记忆网络(Long Short-Trem Memory,LSTM)的循环神经网络语言模型的文本表示模型得到文本表示和网络权重,然后训练基于LSTM的文本分类模型进行文本分类。为了缓解模型LM-LSTMAdv T过拟合问题,在文本表示模型和文本分类模型都采用基于FCM的对抗训练方法,即在词向量层添加损失函数相对于词向量梯度的对抗扰动。实验结果表明,LM-LSTM-Adv T模型相对于未使用对抗训练方法的LM-LSTM模型在数据集AGNews、Subj、MPQA、CR、MR上分别提高了0.14%、2.17%、3.84%、8.48%和6.13%的准确率。另外,LM-LSTM-Adv T模型相对于仅在基于LSTM的循环神经网络语言模型的文本表示模型使用对抗训练方法的LM-Adv T模型在数据集Subj、MPQA、CR、MR上分别提高了0.87%、1.01%、0.12%和0.16%的准确率。(2)设计了基于序列自编码器对抗训练的文本表示与文本分类模型SA-Adv TLSTM-Adv T。SA-Adv T-LSTM-Adv T模型首先训练基于LSTM的序列自编码器文本表示模型进行特征提取,得到文本表示和网络权重,然后训练基于LSTM的文本分类模型进行文本分类。为了缓解模型过拟合问题,同样采用基于FCM的对抗训练方法训练文本表示模型和文本分类模型。为了充分研究SA-Adv T-LSTM-Adv T的模型效果,本文另外设计5种对比模型。实验结果表明,SA-Adv T-LSTM-Adv T模型与未使用对抗训练方法的SA-LSTM模型在数据集AGNews、Subj、MPQA、CR、MR上分别提高了0.78%、3.05%、2.1%、1.11%和5.27%的准确率,并且在与LM-LSTM-Adv T模型相比,SA-Adv T-LSTM-Adv T模型在数据集AGNews、Subj、MPQA、CR、MR上分别提高了0.82%、0.14%、0.45%、0.89%、0.58%的准确率。另外,本文还将LM-LSTM-Adv T模型和SA-Adv T-LSTM-Adv T模型与VVD、CNN、Fast Text等现有的文本表示与文本分类模型进行了对比,实验结果表明,在数据集AGNews、Subj、MPQA、CR、MR上,本文SA-Adv T-LSTM-Adv T模型的准确率优于其他模型。

关键词：文本表示文本分类对抗训练语言模型序列自编码器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向事件的文本表示模型构建及应用研究

面向事件的文本表示模型构建及应用研究

作者：谭伟志安徽理工大学

学位级别：硕士

文本表示是自然语言研究的基础问题,也是帮助我们高效处理文本信息的关键,传统的文本表示模型大多是基于词或短语构建,普遍存在容易丢失语义信息的问题。近年来,事件这一概念引起了学者的高度重视,叙事类文本中包含了大量的事件,面向事... 详细信息

文本表示是自然语言研究的基础问题,也是帮助我们高效处理文本信息的关键,传统的文本表示模型大多是基于词或短语构建,普遍存在容易丢失语义信息的问题。近年来,事件这一概念引起了学者的高度重视,叙事类文本中包含了大量的事件,面向事件对文本表示模型进行研究,以事件或事件要素作为语义单元,可以很好的保留文本中存在的深层语义信息。本文首先对文本中缺省的对象要素、时间要素和地点要素进行缺省补全的研究;然后以事件作为基本语义单元,结合图结构模型的思想,构建面向事件的文本表示模型——事件语义网络;最后基于事件语义网络实现了自动摘要应用。论文主要的研究内容分为以下三个部分:（1）事件要素的缺省补全。在一篇叙事类文本中,为了使叙述更加连贯流畅,常常会出现对象要素、时间要素和地点要素的缺省,将缺失的事件要素补全是事件要素研究的一个重要问题。本文主要对事件缺省的时间要素、环境要素（地点要素）以及对象要素进行补全研究。其中时间和地点要素同为事件的属性,使用基于上下文结构规则结合相同事件触发词表的方法进行补全;对象要素使用基于上下文结构规则和事件在句子中的共现规则相结合的方法进行补全并计算具有多个对象要素的事件在文本中的语义关联。给出了具体的补全步骤和对应的实例以及事件要素缺省补全的实验效果。（2）面向事件的文本表示模型-事件语义网络。本文将事件作为研究对象,用事件中的触发词（动作要素）代替事件作为特征项。同时结合图结构模型的思想,深入挖掘事件之间的语义关联:首先针对不同的事件要素根据其特点使用不同的方法计算事件要素之间的关联度,然后为不同的事件要素赋予不同的权重,通过加权公式使用事件要素的关联度计算出事件之间的相关度,并根据事件相关度的大小将相关的特征项连接起来作为边,最终构建出一种新的文本表示模型-事件语义网络,能够很好地保留文本的结构和语义信息。（3）基于事件语义网络的自动摘要。统计出事件语义网络中每个特征项的权重,从而得到每个节点的权重;然后通过改进的PageRank方法对得到的节点权重进行计算,得到每个节点在文本中的重要度;接着通过更新后的节点重要度得到文本中对应事件所在句子的权重,并将句子按照权重大小降序排列,挑选权重最高的部分句子作为文本的摘要句;最后将得到的文摘句进行去冗余操作后按照它们在原文本中出现的顺序依次输出,作为文本的摘要。实验表明,基于事件语义网络的自动摘要方法取得了较好的效果。图[9]表[11]参[61]

关键词：文本表示图结构事件相关度事件语义网络自动摘要

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向新闻分类的文本表示方法研究

面向新闻分类的文本表示方法研究

作者：李锐南京信息工程大学

学位级别：硕士

文本表示是自然语言处理最为核心的研究方向之一,近年来随着机器学习的发展,文本表示也从最初的统计学方式开始与机器学习相结合。人类对于文本的理解取决于对世界的认知以及大脑复杂的逻辑处理,而计算机则取决于文本在计算机内部存储... 详细信息

文本表示是自然语言处理最为核心的研究方向之一,近年来随着机器学习的发展,文本表示也从最初的统计学方式开始与机器学习相结合。人类对于文本的理解取决于对世界的认知以及大脑复杂的逻辑处理,而计算机则取决于文本在计算机内部存储的二进制表示。如何将文本表示成计算机更易于理解的形式成为了目前的研究热点。本文的核心工作是针对中文文本构建文本表示,并应用在新闻文本分类任务中。如何将中文字符具有含义且包含情感考虑进文本表示是本文的主要研究内容;如何将文本的序列形式考虑进文本表示是本文的主要研究内容;如何将文本的上下文语境、语义考虑进文本表示是本文的主要研究内容。基于以上内容本文的具体创新与工作如下:(1)提出一种基于粒度融合的文本表示方法,将预训练词向量与随机初始化字符向量在向量表示空间中融合,通过字符向量将词语中的语义与情感加强,通过词向量弥补字符向量无法有效表示实体的缺陷。将所提方法与Text CNN结合构建模型,在公开数据集上进行实验,与多种其他先进算法对比。实验结果表明粒度融合的文本表示方法能够有效的将字符与词语两种粒度的优势融合,构建更加有效的文本表示。(2)引入位置编码、多头自注意力机制、双向长短时记忆神经网络三种方法,并将三种方法融合构建文本序列表示方法。通过位置编码为文本中的词语赋予位置信息;通过多头自注意力机制为文本中词语之间互相关注程度赋予权重;通过双向长短时记忆神经网络提取文本上下文语境、语义信息。将三种方法融合并结合Text CNN模型,在公开数据集上进行实验,与多种其他先进算法对比。实验结果表明文本序列表示方法能够有效的将文本中的序列信息进行表示,对文本的表示进行增强。(3)提出一种基于GMSC-Text CNN的新闻分类模型,将上述几种文本表示方法与Text CNN结合,应用在今日头条的短文本新闻标题分类中。GMSC-Text CNN能够在文本构成时融入多种信息,增强文本表示中的有效特征,通过实验表明GMSC-Text CNN能较大的提升Text CNN在短文本中的分类能力。

关键词：自然语言处理文本表示粒度融合注意力机制上下文信息

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多示例学习的中文文本表示及分类研究

基于多示例学习的中文文本表示及分类研究

作者：何维大连理工大学

学位级别：硕士

随着信息技术的广泛应用以及信息化建设的广泛开展,信息资源正爆炸性的增长,如何获得有效的信息成为关注的焦点。信息资源80%是以自然语言形式存在的文本。对文本的内容挖掘和标引将成为解决文本信息管理问题的关键手段。国内已经开展... 详细信息

随着信息技术的广泛应用以及信息化建设的广泛开展,信息资源正爆炸性的增长,如何获得有效的信息成为关注的焦点。信息资源80%是以自然语言形式存在的文本。对文本的内容挖掘和标引将成为解决文本信息管理问题的关键手段。国内已经开展知识标引方面的研究,对文本内容挖掘技术提出了新要求。在文本中进行知识挖掘,比在结构化的数据记录中进行知识发现和数据挖掘更困难,需要将文本转化为已有算法能处理的形式,然而文本向量化表示有着固有的缺点。向量化表示几乎忽略了文本中的语义信息;长期关注数值空间使研究者过多的将精力集中在数学问题上,而对文本内容挖掘本身的研究相对较少。针对以上文本表示上的问题,本文以国家自然科学基金“企业(组织)知识管理中的若干基础科学问题研究”为依托,将文本语义表示、相似度计算以及文本信息管理中的文本分类作为研究内容,这些都以文本表示为基础,为此本文首先对已有文本表示模型进行了分析,并结合知识标引研究的成果,以句子作为单位切分文本,用语义相对完整,独立性强的句子作为文本表示的单位,解决字词在表示文本上的语义缺失问题;其次引入了多示例学习理论中多示例包的概念,将文本句子包表示予以理论化,并提出相应的句子相似度计算方法定义包距离,为句子包的应用奠定了基础;同时依据句子包的特点,对包内句子之间的关系进行研究,用句子关系图描述句子之间的关系,设计了文本主题句抽取方法并进行了可接受性测试;最后通过文本分类测试了文本句子包表示的可行性,取得了不差于向量空间模型的统计值。本文工作丰富了多示例学习研究,提出了新的文本表示方法,跳出了以字、词切分为基础的文本向量化表示;不依赖句子位置等加权信息抽取文本主题句,为文本内容挖掘提供了新的思路。

关键词：多示例学习文本表示文本分类句子包主题句抽取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的文本表示与分类研究

基于深度学习的文本表示与分类研究

作者：梁思程西安工程大学

学位级别：硕士

随着信息技术在人们日常生活中的广泛应用,文本信息正以指数形式增长,如何对海量文本信息进行有效管理,进而快速了解文本信息的价值成为了研究的焦点。其中,文本表示和文本分类是文本信息管理的关键技术。传统文本表示采用统计学的方法... 详细信息

随着信息技术在人们日常生活中的广泛应用,文本信息正以指数形式增长,如何对海量文本信息进行有效管理,进而快速了解文本信息的价值成为了研究的焦点。其中,文本表示和文本分类是文本信息管理的关键技术。传统文本表示采用统计学的方法,假设词之间相互独立,未考虑语义信息,提取的文本特征数据稀疏、维度高,丢失了大量的文本信息。如今,文本信息语义丰富,主题多样对文本分类提出了更高的挑战,尤其是面对长文本的分类问题时,传统浅层的文本分类器泛化能力一般,不能满足分类管理要求。深度学习层与层之间特有的结构,可以从浅层或者中层特征中提取到高级特征,很好的解决了文本分类面临的上述问题,为文本表示内容的准确提取和文本分类模型的精准构建提供了支持。本文应用文本分类技术,在研究深度学习各类算法基础上,将深度学习有效的应用到文本表示和文本分类中并进行深入研究,主要完成如下工作:(1)提出改进的Fasttext模型用于中文长文本分类,可解决Fasttext模型进行复杂的长文本分类工作时,丢失太多文本上下文的信息的问题。经THUCNews数据集实验分析,改进的Fasttext模型既保证了文本分类的准确性,又降低了词向量训练速度。(2)针对长文本在特征提取时采用词向量进行文本表示导致训练时间长,分类结果不理想等问题,在PV-DM模型研究基础上,提出采用无监督的学习方法生成文本句向量,进而实现句子级别的文本分析,提高了长文本的分析速度。(3)针对长文本分类器提取语义关键特征难度大,分类效果差等问题,建立了基于循环神经网络和卷积神经网络的BGRU-CNN混合模型,实现了长文本的准确分类。采用THUCNews数据集和SogouC数据集的训练集,分别训练BGRU-CNN混合模型并进行测试实验,与CNN、LSTM、GRU、B-LSTM、B-GRU,5个文本分类模型进行对比。通过实验的比较分析,证明了BGRU-CNN混合模型的有效性。本文针对复杂中文长文本的分类,提出了改进的Fasttext模型文本表示方法和BGRU-CNN文本分类方法,不仅在理论上提供了解决方案,而且在应用层面同样具有指导意义。图32幅,表9张,参考文献64篇

关键词：文本信息文本表示文本分类深度学习长文本

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练模型的文本表示优化方法研究

基于预训练模型的文本表示优化方法研究

作者：梁雨昕西北大学

学位级别：硕士

文本的表示学习是很多自然语言处理任务的基础,文本表示的质量也直接影响了下游分类、生成等任务的表现。从简单的独热表示、词包表示,到静态词嵌入以及有监督文本表示学习,文本表示方法已经取得了一系列的进展。近年来,以BERT为代表的... 详细信息

文本的表示学习是很多自然语言处理任务的基础,文本表示的质量也直接影响了下游分类、生成等任务的表现。从简单的独热表示、词包表示,到静态词嵌入以及有监督文本表示学习,文本表示方法已经取得了一系列的进展。近年来,以BERT为代表的基于Transformer结构的预训练语言模型在各类自然语言任务上取得了显著的进步,已经成为了提取文本表示的默认选择,得到广泛应用。但最新研究表明这类预训练语言模型提取的文本表示存在各向异性问题,即文本表示在不同方向上的分布极不均匀,这使其词相似度和文本相似度的计算准确性较低,影响文本表示在下游任务上的表现。本文分别针对预训练语言模型的词表示和句表示进行研究和改善。1.针对预训练词表示存在的各向异性问题,提出基于权重地去除词嵌入主导方向的方法进行改善。通过测量BERT预训练模型词嵌入的平均余弦相似度等几何特征,并分析其主成分方向投影和奇异值分布,发现BERT预训练词嵌入存在不同方向上的非均匀分布,导致词向量的表示能力受到损害。因此,本文提出了有权重去除BERT词表示中的主导方向来解决该问题,每个主导方向对应一个可学习权重来确定该方向去除的比例,通过在词相似度任务上学习调整这些权重。实验表明本方法缓解了词向量的各向异性问题,并提升了其在词相似度、词类比和文本语义相似度三个标准评估任务上的表现。2.针对预训练模型句表示存在的各向异性问题,提出结合模板（Prompt）技术和对比学习的方法进行改善。首先本文通过模板工程在无训练的情况下提升BERT预训练句表示在文本语义相似度任务上的表现,并分析不同模板对句向量的影响,发现标点使用对BERT模型句向量存在很大影响。基于上述分析,本文提出基于模板数据增强的无监督对比学习模型,该模型使用模板中的[MASK]符号输出层向量作为句表示,并在维基百科语料上使用归一化温度控制交叉熵损失函数（NT-Xent）进行无监督对比学习。模型在多个文本语义相似度的公开数据集上进行实验,验证了该方法对于改善BERT句表示的有效性。

关键词：文本表示预训练语言模型 BERT 对比学习模板学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的文本表示建模方法研究

基于卷积神经网络的文本表示建模方法研究

作者：幸凯华中师范大学

学位级别：硕士

在机器学习中,数据表示是决定后续任务性能的关键所在。文本是数据的一大类,文本表示是许多自然语言处理任务的基础工作,建立文本表示模型的目的是分析和表示文本的语义信息,得以在文本分类、机器翻译、自动问答等自然语言处理任务上取... 详细信息

在机器学习中,数据表示是决定后续任务性能的关键所在。文本是数据的一大类,文本表示是许多自然语言处理任务的基础工作,建立文本表示模型的目的是分析和表示文本的语义信息,得以在文本分类、机器翻译、自动问答等自然语言处理任务上取得更好的效果。在传统的文本表示方法中,例如词袋子模型,具有数据稀疏和容易产生维度灾难等问题,模型的泛化能力较差。近年来,随着机器学习的发展,各种神经网络建立的文本表示模型开始出现。基于神经网络的文本表示模型是将多种层次结构的文本,通过神经网络的学习映射得到低维连续的向量,所有向量都在同一个低维向量空间中,提高了模型的表示能力。同时卷积神经网络在各种神经网络中具有较好的特征选取能力。然而,现有神经网络文本表示模型存在着一些问题。首先,对于不同文本中相同的词,在神经网络中使用相同的单一的向量,在特征提取时势必对一词多义、同形异义等情况不能够做出较好的区分,得到的特征不能较好地完成分类任务。然后,对于通常的神经网络模型文本表示模型,无法有效地捕获不同文本单元和可变长度的组合序列的语义和结构信息,对文档级别的文本进行处理时模型性能会大大的降低。根据上述存在的问题,本文分别从句子和文档两个层次,对比了多种神经网络文本表示方法,根据现有文本表示方法的不足,提出了改进后的表示模型。以下是本文所做出的主要工作:第一,提出了基于主题词向量的卷积神经网络句子文本表示模型。在该模型中,针对神经网络输入层的词向量矩阵,利用了相同的词在不同的文本中的语义信息应该有所差异的特性,为句子文本中的每个词语分配所在文本对应的主题信息,得到了每个词的主题词向量。同时为了不把不相关的主题信息引入到神经网络中,在中间层加入了主题转移矩阵过滤无用的主题信息,主题转移矩阵是根据词与主题的相似度和概率分布计算得到。通过主题转移矩阵将主题词向量融入神经网络模型中,使模型可以消除词在不同文本中的歧义。实验证明了得到的文本表示在句子级别的情感分类任务上有更好的表现。第二,提出基于长距离关联的卷积神经网络文档文本表示模型。针对了通常的神经网络模型文本表示无法捕捉文档文本中长距离的语义关系的问题,将整个文档文本的词所对应的主题词向量序列通过长短时记忆网络LSTM层进行处理,得到了包含长距离的语义关系和结构信息的隐藏状态序列,最后通过卷积神经网络提取文本特征,得到文本表示。其中根据是否考虑文档中句子间的语义交互分别给出了文档语义记忆文本表示模型、句子-文档语义记忆文本表示模型两种模型。实验证明了给出的文本表示在文档级别的情感分类任务上有更好的表现。

关键词：文本表示卷积神经网络词向量主题转移矩阵长短时记忆网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于注意力机制的文本表示研究

基于注意力机制的文本表示研究

作者：徐若易中国科学技术大学

学位级别：硕士

文本表示是不同自然语言处理任务的基础,需要将一段由字和词组成的序列表示成计算机可以处理的数字信息。一个好的文本表示需要体现出文本自身的语法特征和语义特征,但是如何将语法和语义由数字精确地表示,一直是自然语言处理领域面临... 详细信息

文本表示是不同自然语言处理任务的基础,需要将一段由字和词组成的序列表示成计算机可以处理的数字信息。一个好的文本表示需要体现出文本自身的语法特征和语义特征,但是如何将语法和语义由数字精确地表示,一直是自然语言处理领域面临的最大挑战。近年来,深度学习的兴起使文本表示出现了更多的可能性。以注意力机制为基础的文本表示方法有着灵活的建模方式、良好的解释性、高效的计算能力等特征,而被研究者们所青睐。但是,现有的基于注意力机制的文本表示方法,大多存在两个问题:1.注意力机制方法是加权求和的方式,没有考虑词的相对位置关系,即缺少了文本结构信息;2.注意力机制有很多基本计算方法,且差异巨大,这会使模型设计更加繁琐。本文主要研究了基于注意力机制的文本表示方法,依据上述两个问题,工作内容可以概括成以下两点:(1)提出了基于注意力机制的多位置信息的文本表示方法,使用不同的屏蔽矩阵应用于注意力机制,提取了多种文本结构信息的文本表示;并设计融合机制,将多种文本表示整合为统一文本表示。这样能将词的相对位置信息引入注意力机制中,修正加权求和方式,解决注意力机制缺少文本结构信息的问题。具体地说,本文设计了远距离屏蔽矩阵、距离惩罚矩阵,提取了文本的局部信息,同时使用了前向、后向屏蔽矩阵,提取了文本的序列信息;另外,在融合机制中,设计了参数共享策略,使得待训练参数数量从平方量级降低到了线性量级。通过在情感分析任务和文本分类任务上对我们提出的基于注意力机制的多位置信息的文本表示方法进行测试,实验结果表明,基于注意力机制的多位置信息的文本表示方法不仅在时空复杂度上有优势,而且有更好的测试集正确率。(2)提出了注意力机制中参数可调的文本表示方法,从参数角度总结并比较了注意力机制的各种变体,寻找到了较优的注意力机制设计方法,给出了注意力机制设计的指导。本文提出了两种新的兼容函数:常数兼容函数、混合兼容函数。其中,混合兼容函数同时考虑了拼接和乘法的向量联合方式。本文在斯坦福情感分析数据集上,对注意力机制中参数可调的文本表示方法进行了兼容函数设计和多维方法的验证,实验结果表明,本文设计的混合兼容函数在注意力机制中提取信息的能力优于其他兼容函数,且多维方法对注意力机制均有所提升。

关键词：文本表示注意力机制自我注意力机制融合机制文本分类