检索结果-南通市图书馆

情报科学 2013年第12期31卷 119-125页

作者：吴思竹张智雄钱庆中国医学科学院医学信息研究所北京100020 中国科学院国家科学图书馆北京100190

对基于语言网络的文本表示模型及其构建的主要思路和方法进行研究。对模型的特点进行分析,总结和归纳构建基于语言网络的表示模型的主要流程及模型的主要应用领域。最后,对模型研究的相关问题进行初步探讨。

关键词：文本表示模型语言网络网络图语义网络

在线全文

学校读者我要写书评

暂无评论

基于概念的文本表示模型

计算机工程与应用 2008年第20期44卷 162-164页

作者：陈龙范瑞霞高琪北京理工大学模式识别与智能系统研究所北京100081

文本信息处理正朝着语义的方向发展,而当今主流的文本表示模型——向量空间模型(VSM)以单个词语作为特征项,这忽略了自然语言中词语之间的语义联系、导致文本中大量存在同义词与多义词现象,从而严重地降低了文本信息处理的精度。应用自... 详细信息

文本信息处理正朝着语义的方向发展,而当今主流的文本表示模型——向量空间模型(VSM)以单个词语作为特征项,这忽略了自然语言中词语之间的语义联系、导致文本中大量存在同义词与多义词现象,从而严重地降低了文本信息处理的精度。应用自然语言处理相关技术和成果,把概念和概念距离引入向量空间模型,从语义、概念的角度出发,以概念作为文本的特征项,建立基于概念的文本表示模型。实验证明:这种方法能较好地解决同义词和多义词问题、提高了文本分类的查全率和查准率。

关键词：文本表示模型概念概念距离

在线全文

学校读者我要写书评

暂无评论

融入词和文本关系的文本表示模型研究

山西大学学报(自然科学版) 2015年第3期38卷 392-398页

作者：朱建林彭鲸桥杨小平王倩中国人民大学信息学院河北金融学院信息管理与工程系华北电力大学学生处

为了改善向量空间模型的稀疏性,提高文本分类的效果,在不引入外部知识的情况下,通过挖掘语料库内部的词间关系和文本间关系,将其以不同的方式融入原始矩阵,形成了4种新的文本表示模型,并通过文本分类实验来验证其表达能力。实验证明,融... 详细信息

为了改善向量空间模型的稀疏性,提高文本分类的效果,在不引入外部知识的情况下,通过挖掘语料库内部的词间关系和文本间关系,将其以不同的方式融入原始矩阵,形成了4种新的文本表示模型,并通过文本分类实验来验证其表达能力。实验证明,融入词和文本关系能明显改善KNN和SVM的分类效果。

关键词：向量空间模型文本表示模型文本分类特征矩阵

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

某于语义和结构张量的文本表示模型

某于语义和结构张量的文本表示模型

作者：庄建昌中国计量大学

学位级别：硕士

文本是一种非结构化数据,计算机无法直接对文本进行处理,需要将其转化为结构化数据.构建文本表示模型是文本处理的首要目标.本文提出两种文本表示模型——局部热词模型和结构张量空间模型.并依据结构张量空间模型的原理,开发了文本分层... 详细信息

文本是一种非结构化数据,计算机无法直接对文本进行处理,需要将其转化为结构化数据.构建文本表示模型是文本处理的首要目标.本文提出两种文本表示模型——局部热词模型和结构张量空间模型.并依据结构张量空间模型的原理,开发了文本分层软件.具体工作概括如下:1.局部热词模型（Local Buzzword Model,LBM）.本文提出二次关键词提取策略,并结合词向量模型和聚类算法构建LBM.该模型能够从领域语料中提取特征,并且能够降低语料分布不平衡的负面影响.本文将该模型用于旅游评论语料,实验结果验证了 LBM在挖掘领域特征上的有效性.2.结构张量空间模型（Structured Tensor Space Model,STSM）是基于文本内在的结构特征设计而成.文本的内容可以划分成几个主要的层次.假设同一层次下的文本段落其含义较近,而不同层次下的文本段落含义较远.根据这一假设,本文提出了层次结构提取算法（Hierarchical Structure Extraction Algorithm,HSEA）,该算法能够让文本按照其层次结构进行分层,并将提取的层次结构应用于文本表示,进而构成STSM.本文使用搜狗新闻语料和复旦中文语料,通过文本分类实验来验证STSM的效果.实验结果表明STSM与高阶支持张量机组合构造的分类器在小样本语料的情况上具有更优的分类效果,这反映出STSM是一种有效的文本表示模型.3.文本分层软件（Text Layered Software,TLS）依据文本的HESA设计而成,它是文本分层的一种可视化展示.TLS除了分层文本的功能以外,还具有提取文本摘要句和中心句的功能.

关键词：文本表示模型 word2vec 关键词提取文本层次结构结构张量空间模型文本分类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向图文的短文本表示模型研究

面向图文的短文本表示模型研究

作者：何小波北京工业大学

学位级别：硕士

相对于文本内容,图像内容能更加一目了然将信息呈现出来,因而在阅读中呈现出二者相结合的趋势。以功能神经影像文献为例,文献中图文信息往往相辅相成的出现在读者面前。然而,当前主流的文本表示模型却无法对文献中的图文信息进行充分利... 详细信息

相对于文本内容,图像内容能更加一目了然将信息呈现出来,因而在阅读中呈现出二者相结合的趋势。以功能神经影像文献为例,文献中图文信息往往相辅相成的出现在读者面前。然而,当前主流的文本表示模型却无法对文献中的图文信息进行充分利用,主要存在图文语料信息组织性不足、短文本语义表示能力不足、对图文信息缺乏综合性利用等一系列问题。针对这些问题,本文以功能神经影像文献为切入点,就面向图文的短文本表示模型展开研究。主要工作包括:（1）针对当前功能神经影像领域多模态语料信息缺乏的现状,本文构建了功能神经影像训练集和文本训练集。首先,根据功能神经影像文献中图片的不同视角,构建了功能神经影像图片训练数据集;其次,对于功能神经影像文献中文本,通过短文本语义相似度计算,得到了相应的相关语义对集合和非相关语义对集合,构建了短文本训练数据集。通过图文数据集的构建,为文本表示模型和图文融合表示模型的训练提供了充分的数据支撑。（2）针对目前由于短文本特征稀疏以及主题关注度低引起文本模型语义表示能力不足的问题,本文提出了基于LDA的短文本表示模型“Weighted-LDATVM”。采用潜在的狄利克雷分配法来捕获短文本的潜在主题,并使用粒子群优化算法来学习主题词的相应权重值,通过对文本主题词进行加权计算实现了短文本的语义聚焦,获得基于加权主题词向量的短文本表示模型。本文采用短文本间相似性度量实验对该模型进行了评估,实验结果表明,该模型对短文本的相似度测量具有较好的区分能力和语义表示能力。（3）针对功能神经影像文献中图文信息缺乏综合性利用的现状,提出了一种基于注意力机制的图文融合表示模型。传统的主题学习方法仅能够对文本进行表示学习,而不能将相关的图像进行有效利用。本文创新性地将基于注意力机制的图像描述技术应用于神经影像文献挖掘领域,并与传统基于文本的LDA主题模型融合,形成全新的Attend-NIC-LDA主题模型,在对文献主题词充分识别的基础上,结合文献中的神经影像图像信息,对脑认知功能主题词进行了有侧重性的挖掘。基于PLo S One期刊数据集的实验结果表明,本文提出的Attend-NIC-LDA主题模型不仅在语义聚类上优于当前主流的主题模型,同时,在当前开放存储文献资源飞速增长以及脑认知功能更新不断加快的趋势下,弥补了脑区与相对应认知功能系统性不足的现状。

关键词：文本表示模型图像描述图文融合功能神经影像文献挖掘

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于BERT改进的文本表示模型研究

基于BERT改进的文本表示模型研究

作者：王楠禔西南大学

学位级别：硕士

长期以来,自然语言处理NLP(Natural Language Processing)都是人工智能领域的一大热点和难点,其研究内容包括:文本分类、机器翻译、智能问答等。它面向复杂多变的非结构化数据——自然语言,希望通过精巧的数学模型充分理解语句含义,从... 详细信息

长期以来,自然语言处理NLP(Natural Language Processing)都是人工智能领域的一大热点和难点,其研究内容包括:文本分类、机器翻译、智能问答等。它面向复杂多变的非结构化数据——自然语言,希望通过精巧的数学模型充分理解语句含义,从而完成人与机器之间的自然交互。早期的科学家们通过人工梳理的语法规则使计算机解析语句,理解含义;后来使用统计学方法刻画语句的生成概率从而完成了序列到序列(seq2seq)的转换。这两种方法奠定了语言模型在自然语言处理领域的重要位置。而不久前机器学习的兴起为研究者们提供了新途径,如何使用模型来将词或者序列表示为包含高度抽象特征的实数向量成为了这一领域新的研究热点。文本表示可以简单分为词表示和序列表示。过去几年,以Word2Vec和Glove为代表的词嵌入(Word Embedding)技术一直是自然语言处理领域的一项核心表示技术,它们可以将单个词表示为包含词义信息的稠密实数向量。而如何使用词向量表征变长序列同样也是文本表示模型的研究重点,过去常用的模型包括简单的词袋模型以及考虑部分共现关系的N元(N-gram)模型等。后来随着深度学习的兴起,科学家们提出了更加优秀的序列表示模型,如循环神经网络RNNs(Recurrent Neural Networks)、卷积神经网络CNNs(Convolution Neural Networks)。这些模型在自然语言处理领域被广泛使用,取得了许多成果。然而,它们的统治地位正在被一系列更加庞大且系统的文本表示模型所动摇,如:ULMFiT、ELMo、OpenAI GPT以及BERT。这些模型使用的都是预训练加微调的架构,即先使用深度网络模型无监督地学习到自然语言中复杂的语义信息(预训练),再通过迁移学习的方式(微调)部署在下游任务之上。得益于有效的无监督预训练,模型可以更好的理解语句含义,从而在微调过程中速度更快,效果更好,同时模型的泛化性也更强。这四个模型在一年中先后提出,各自代表了当时的最高水平。其中BERT模型作为当前自然语言处理领域最强且最新的模型,是非常值得仔细研究的。本文针对BERT模型做了深入的研究和实现,认为BERT模型固然非常强大,但它庞大的参数量和缓慢的预训练速度严重限制了该模型的应用场景。在仔细研究了模型中多头自注意力机制和位置嵌入的原理和作用,并通过实验验证了预训练对于模型的提升后,本文针对BERT模型提出了四个改进,以期在更小的参数量和更快的预训练速度的前提下得到较好的结果。本文工作归纳如下:1.相对位置嵌入。本文认为,词与词的相对位置信息对于理解自然语言的重要程度远远大于词的绝对位置信息,并且模型为了学习绝对位置信息需要大量额外的参数和时间。BERT模型既考虑了绝对位置,也考虑了相对位置。也就是说BERT模型理论上要捕捉每一个词在每一个位置时对所有词在所有位置的影响,这一共是种分布模式(为词总数,为序列长度)。而如果仅考虑相对位置的话,模型只需要学习2种分布模式,这一定程度上可以减少模型的参数和训练时间,并且可以提高模型的泛化性。所以,本文提出相对位置嵌入方法,使模型忽略掉绝对位置信息而保留更重要的相对位置信息。2.独立双向多头自注意力机制。多头自注意力层是BERT模型中的核心结构,它对准确提取语句含义起到了决定性作用。本文认为,词与词之间的相互影响是应该考虑词序的,即词A分别出现在词B前后时,对词B的意义应该是不同的。然而在BERT模型中,并没有在词层面实现这个影响,而是用绝对位置嵌入的方法间接实现。本文认为这个设计需要模型去学习冗余的绝对位置和词之间的关系,从而造成参数量大而训练时间长的后果。为了直接捕捉这种关键信息,本文提出独立双向多头自注意力机制,即分别使用两个“多头”独立处理前文词和后文词,使得词A分别出现在词B前后时被表示为不同的实数向量。3.层级密集连接网络。密集连接指在不同网络层之间建立密集的额外数据通路。这可以使梯度更好的向深层传导,同时提高每层网络所提取特征的利用率,并且使总体损失函数更加“光滑”,从而在优化网络时可以更快更好地收敛。在BERT模型中,只在每个注意层内部有残差网络连接,但层与层之间并无额外数据通路。本文认为,BERT模型的网络深度较大,梯度传导困难,从而导致训练时间较长。另外,每个注意力层所提取的特征只能为下一层所用,效率较低。所以,本文在注意力层之间建立层级密集连接网络,以期减少模型的训练时间,并提高每个注意层所提取特征的利用率,从而提高模型性能。4.新的预训练任务——乱序判断。BERT模型在词序的捕捉上可解释性不足,位置嵌入机制说服力不强。本文希望通过预训练来使模型对于语序更加敏感,所以提出乱序判断预训练任务,即随机打乱语句中的部分词序或保持不变,再使用模型判断该语句词序是否合理。实验

关键词： BERT 自然语言处理文本表示模型自注意力机制预训练

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

文本语义结构表示模型及分类应用

文本语义结构表示模型及分类应用

作者：洪彩凤中国计量大学

学位级别：硕士

文本数据大多数是非结构化数据,如何有效处理和准确表达文本的原始信息在文本分类任务中是首要前提,从非结构转化为结构化数据的过程一般称为文本表示.现有的向量空间模型存在高维稀疏性、缺乏语义信息等缺点,因此对具有语义结构和类别... 详细信息

文本数据大多数是非结构化数据,如何有效处理和准确表达文本的原始信息在文本分类任务中是首要前提,从非结构转化为结构化数据的过程一般称为文本表示.现有的向量空间模型存在高维稀疏性、缺乏语义信息等缺点,因此对具有语义结构和类别信息的文本表示模型进行深入研究是十分必要且有意义的,并在文本分类任务中验证其表示模型的有效性.具体工作概括如下:1.基于词嵌入组合的文本表示模型的一般方法是直接对词嵌入加权平均,使得类别信息对分类性能的贡献被弱化,对此提出一种基于类语义结构的表示模型.该模型将文本类别信息融入到文本表示过程,使文本表示模型具有语义信息又保持类别结构.该模型先把词嵌入空间划分成不同的类子空间,并在每个类子空间中选择对类别有代表性的特征词,再将特征词对应的词嵌入进行组合得到类特征向量,最后将所有的类特征向量进行级联形成文本的向量表示.该模型分别在长文本和短文本分类中进行实验验证,结果表明与其他加权词嵌入模型相比得到了更优的分类性能.2.针对文本分类中高维文本表示的降维问题,提出一种基于类邻域字典的线性回归分类方法.该方法在线性回归分类方法和K-近邻方法的基础上,对每个类别的训练样本分别选择测试样本的K个近邻构成各类别的子邻域字典,并根据不同的学习表示方法提出了在由各个类子邻域字典连接得到的级联字典学习下对测试样本的线性表示（CCND-LRC）模型和分别学习测试样本在每个类子邻域字典下的线性表示（CND-LRC）模型.此外,为缓解噪声数据对分类性能的影响,设计了一种类相关度测量,通过度量测试样本与各个类别之间的相关度对噪声类数据进行裁剪.实验结果表明CND-LRC模型与其他稀疏表示方法相比,特别是在长文本中具有更优的分类效率和分类性能,基于噪声类别裁剪的CND-LRC模型在类别较多的文本中具有更明显的结果.

关键词：文本表示模型文本分类词嵌入语义结构线性回归

基于全覆盖粒计算模型的文本表示和特征提取研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于全覆盖粒计算模型的文本表示和特征提取研究

作者：许慧芳太原理工大学

学位级别：硕士

随着大数据时代的到来产生海量的文本数据资源,文本挖掘面临从按秒激增的文本中探求有价值信息的艰巨任务。文本表示模型和文本特征提取是文本挖掘领域的重要研究方向,能够智能地挖掘文本中的信息是文本挖掘领域的迫切需求。粒计算是人... 详细信息

随着大数据时代的到来产生海量的文本数据资源,文本挖掘面临从按秒激增的文本中探求有价值信息的艰巨任务。文本表示模型和文本特征提取是文本挖掘领域的重要研究方向,能够智能地挖掘文本中的信息是文本挖掘领域的迫切需求。粒计算是人工智能领域中一门挖掘海量信息的新理论。本文寻求基于粒计算理论的文本表示模型和特征提取算法来挖掘海量文本信息是一种有益的尝试。基于LDA(Latent Dirichlet Allocation)的文本主题模型是建立在统计理论上的一种文本表示模型,其中关键词是表征主题语义的基本特征。LDA可以将某个主题下生成概率大的关键词提取出来,而这些关键词对于表征该主题未必重要。鉴于此,本文提出了一种基于集合论的文本表示模型,即文本的全覆盖粒计算模型(Full Covering Granular Computing Model of Texts,FCGMT),并在此基础上提出一种基于全覆盖粒计算模型的重要关键词提取算法,利用全覆盖的约简思想对LDA提取的关键词计算其重要度,从而选出表征该主题语义的关键词。用复旦大学语料库、搜狗新闻语料和网络抓取的实时语料三类型语料库做实验,与基于TFIDF的关键词提取算法和基于LDA的关键词提取算法做比较,证明本文算法的有效性。本文的主要研究内容有:1、在全覆盖粒计算模型的基础上设计文本的全覆盖粒计算模型表示方法,基于LDA主题模型的训练获得候选词,然后根据覆盖粒计算模型理论,找到语料库、文档、主题、候选词与论域、论域中的点、覆盖、覆盖元之间的一一对应关系,构建出文本的“主题-候选词-文档”全覆盖粒计算模型,给基于FCGMT的重要关键词提取算法提供理论依据。2、提出全覆盖粒的约简算法的一种改进方法,优化了全覆盖粒计算模型中属性约简的过程,针对文本特征的多维性,特征的属性重要度具有多样性并不是单纯的1和0,重新定义了属性重要度的度量方法。并通过重要关键词提取实验证明粒的约简的改进算法的有效性。3、设计了一种基于文本的全覆盖粒计算模型的关键词提取算法,首先在文档预处理和主题模型训练后得到候选词,然后利用全覆盖粒计算约简算法进行候选词权重的计算,通过实验分析找到候选词重要度的阈值的合理取值,从而提取出关键词。与两种经典的关键词提取算法进行比较,使用三种类型的语料库做实验,实验结果表明本文算法提取的关键词能较好的表征文档主题。关键词:

关键词：文本表示模型粒计算全覆盖重要关键词提取

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向文本聚类的实体—动作关联模型研究

中文信息学报 2018年第5期32卷 22-30页

作者：刘作国陈笑蓉贵州大学计算机科学与技术学院贵州贵阳550025

该文提出面向文本聚类分析的实体—动作关联模型EARM,探讨汉语语义实体及其行为的描述方法。汉语属于非形态语言,语句没有时态及语态的变化,词类跟句法成分之间也不是简单的一一对应关系。该文提出一种句法成分识别机制,根据词汇类别特... 详细信息

该文提出面向文本聚类分析的实体—动作关联模型EARM,探讨汉语语义实体及其行为的描述方法。汉语属于非形态语言,语句没有时态及语态的变化,词类跟句法成分之间也不是简单的一一对应关系。该文提出一种句法成分识别机制,根据词汇类别特征及位置特征识别实体及动作。在句法成分识别的基础上展开句法分析,通过匹配句型特征建立实体—动作关联模型EARM,描述实体的行为及状态。对于嵌套句型等较为复杂的句型结构,需要在句法分析过程中实施动作层次分解,将复杂语句分解为简单的基本句型,以便于挖掘实体—动作关联。考虑到汉语语法比较灵活,语句成分缺省和倒装现象相对普遍,该文提出了倒装句的识别机制,通过匹配接近的句型进行实体移位,调整语序。论述了基于统计模型的EARM权重量化策略,借助语法树的最大公共子图量化文本的相似度并实施聚类,设计并开展了EARM实体—动作分析实验和EARM聚类实验。实验结果表明EARM的分析是准确有效的,聚类结果是合理的。

关键词：文本表示模型实体—动作关联句型识别动作层次分解

在线全文

学校读者我要写书评

暂无评论

一种基于频繁词集表示的新文本聚类方法

计算机研究与发展 2018年第1期55卷 102-112页

作者：张雪松贾彩燕交通数据分析与数据挖掘北京市重点实验室(北京交通大学) 北京100044 北京交通大学计算机与信息技术学院北京100044

传统的文本聚类方法大部分采用基于词的文本表示模型,这种模型只考虑单个词的重要度而忽略了词与词之间的语义关系.同时,传统文本表示模型存在高维的问题.为解决以上问题,提出一种基于频繁词集的文本聚类方法(frequent itemsets based d... 详细信息

传统的文本聚类方法大部分采用基于词的文本表示模型,这种模型只考虑单个词的重要度而忽略了词与词之间的语义关系.同时,传统文本表示模型存在高维的问题.为解决以上问题,提出一种基于频繁词集的文本聚类方法(frequent itemsets based document clustering method,FIC).该方法从文档集中运用FP-Growth算法挖掘出频繁词集,运用频繁词集来表示每个文本从而大大降低了文本维度,根据文本间相似度建立文本网络,运用社区划分的算法对网络进行划分,从而达到文本聚类的目的.FIC算法不仅能降低文本表示的维度,还可以构建文本集中文本间的关联关系,使文本与文本间不再是独立的两两关系.实验中运用2个英文语料库Reuters-21578,20NewsGroup和1个中文语料库——搜狗新闻数据集来测试算法精度.实验表明:较传统的利用文本空间向量模型的聚类方法,该方法能够有效地降低文本表示的维度,并且,相比于常见的基于频繁词集的聚类方法能获得更好的聚类效果.

关键词：文本聚类频繁词集复杂网络社区划分文本表示模型