检索结果-南通市图书馆

基于主题模型与语义信息融合的多文档摘要句抽取研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于主题模型与语义信息融合的多文档摘要句抽取研究

作者：于佳北京邮电大学

学位级别：硕士

多文档摘要技术是近几年受到广泛关注并发展迅速的研究课题。其旨在对内容相关的多篇文本集合进行分析,提取不重复的重要信息,形成简洁而又具有较强可读性的摘要文本,从而有效地降低用户的信息负载,提高用户处理信息的效率。对现有的... 详细信息

多文档摘要技术是近几年受到广泛关注并发展迅速的研究课题。其旨在对内容相关的多篇文本集合进行分析,提取不重复的重要信息,形成简洁而又具有较强可读性的摘要文本,从而有效地降低用户的信息负载,提高用户处理信息的效率。对现有的多文档摘要技术进行改进和扩展是目前该领域的一个重要发展趋势。在多文档摘要研究中,主题之间关系和语义信息对文本信息理解至关重要。在基于抽取式的自动摘要技术中,句子抽取是关键且复杂的一个步骤。本课题主要结合主题模型和语义信息对多文档摘要句抽取方法进行研究。本文主要内容和工作有如下几个方面：第一.深入研究主题模型的产生以及发展过程,分析经典主题模型的原理、核心思想以及优缺点。重点研究hLDA主题模型,分析其原理和特征,为后续应用提供坚实的理论基础。第二.设计并实现多文档摘要句抽取系统。研究分析hLDA主题模型的建模效果、建模影响因素和建模结果调整。结合语义信息,将hLDA聚类效果与传统聚类方法进行比较,进而证明选择hLDA层次主题模型进行多文档摘要句抽取研究的意义。第三.结合hLDA层次主题模型特点和语义信息,从结构和语义两个方面进行分析,设计句子打分算法。利用实验评估打分结果。第四.制定句子抽取策略以抽取摘要候选句。研究摘要句抽取结果的自动评测方法,对抽取的摘要候选句进行公平准确的评价,并与其他句子抽取系统进行对比,证明本系统性能良好。本论文研究得到国家自然科学基金项目资助,编号61202247和71231002。

关键词：多文档摘要主题模型语义信息层次潜在狄利克雷分配句子打分

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向多文档摘要的主题建模方法研究

面向多文档摘要的主题建模方法研究

作者：衡伟北京邮电大学

学位级别：硕士

多文档摘要技术为人们快速、有效的组织大量信息提供了一种良好的途径。主题模型方法是目前多文档摘要的主流算法,但是,国内外学者研究多文档摘要主要采用基于平面结构的主题模型。多文档摘要对结果全面性,覆盖、差异性,概括与细节等要... 详细信息

多文档摘要技术为人们快速、有效的组织大量信息提供了一种良好的途径。主题模型方法是目前多文档摘要的主流算法,但是,国内外学者研究多文档摘要主要采用基于平面结构的主题模型。多文档摘要对结果全面性,覆盖、差异性,概括与细节等要求使得层次主题模型特别适合应用在摘要主题建模任务中。布雷等人提出了层次潜在狄利克雷分配模型,其良好的效果已得到了广泛的验证。但应用建模时,多而复杂的先验超参设置,随机算法本身的不确定性以及不同的语料特征使得我们很难找一个快速、有效的方法对新数据进行建模。本文提出了由贝叶斯线索和范围线索构成的统一建模分析框架。采用理论分析与实验验证相结合的方式来剖析hLDA层次建模中的关键影响因素。着重从层次树的路径选择,主题层次选择以及不同层次词的选择等方面分析模型本身特点以及应用到多文档摘要时的特征选择。然后给出一个切实有效的经验化建模策略和流程,最后结合JACM和MultiLing2013多文档摘要语料等进行建模效果评估。

关键词：层次潜在狄利克雷分配统一建模分析框架贝叶斯线索经验化评估方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于主题模型与语义分析的多文档摘要研究

基于主题模型与语义分析的多文档摘要研究

作者：刘宇北京邮电大学

学位级别：硕士

随着科技的飞速发展,人们每天获得的信息量也与日俱增,这其中除了人们关注的主要信息外,还充斥着大量的冗余信息。而多文档摘要技术能够很好地帮助人们从大量信息中提取主要的有用信息,但大多国内外学者研究多文档摘要时多是采用平面关... 详细信息

随着科技的飞速发展,人们每天获得的信息量也与日俱增,这其中除了人们关注的主要信息外,还充斥着大量的冗余信息。而多文档摘要技术能够很好地帮助人们从大量信息中提取主要的有用信息,但大多国内外学者研究多文档摘要时多是采用平面关系的主题模型。布雷等人所提出的层次潜在狄利克雷分配模型,相比平面关系的主题模型而言,不仅能够挖掘出文档集的潜在主题特征,而且在各个主题之间建立起了层次结构的联系,尽管这种立体的层次化结构能够更好地表达在概括多个文档内容时需要的主题特征,但其建模结果呈现多样化,且效果无法得到足够的保证,甚至在相同参数设置和语料条件下其建模结果也具有一定的随机性。因此,本文在前人的基础上,总结了应用层次主题模型与语义分析的中文多文档摘要实验流程,提出了一种面向中文多文档的无监督层次潜在狄利克雷分配建模结果的自动评价方法,并通过人工评价的方式验证其有效性。接着运用自动评价方法,根据hLDA主题建模的结果反馈调节建模设置的各项超参,实现建模结果的不断优化。最后本文将hLDA主题建模的结果与其他模型的建模结果通过自动评价与人工评价进行了对比实验,验证了hLDA主题建模在中文文本聚类中展现的优越性,同时证实了自动评价方法的有效性。另一方面,本文从不同分词方法,是否去掉停用词,重复句子的不同处理方式,是否添加用户词典与进行同义词替换四个方面进行了对比实验,探究更加适合中文多文档摘要的hLDA主题建模的预处理流程。本论文研究得到国家自然科学基金项目“基于hLDA层次主题模型的中文多文档摘要研究”(项目批准号：61202247)和“面向不确定性的Web2.0用户创作内容管理研究”(项目批准号：71231002)的资助。

关键词：层次潜在狄利克雷分配主题建模自动评价方法超参调优

基于hLDA层次主题模型的多文档摘要技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于hLDA层次主题模型的多文档摘要技术研究

作者：刘红艳北京邮电大学

学位级别：硕士

随着网络的发展,知识经济时代的到来,人们学习生活节奏的加快,人们对获取信息的速度和质量提出了越来越高的要求,多文档摘要技术应运而生,成为自然语言处理领域研究者们关注的焦点。多文档摘要技术是根据描述同一话题的多篇相关文... 详细信息

随着网络的发展,知识经济时代的到来,人们学习生活节奏的加快,人们对获取信息的速度和质量提出了越来越高的要求,多文档摘要技术应运而生,成为自然语言处理领域研究者们关注的焦点。多文档摘要技术是根据描述同一话题的多篇相关文档生成一篇信息覆盖全面、语言流畅、短小精悍、可读性强的摘要,满足人们快速获取知识的需求,加快信息的传播速度。本课题主要研究基于层次潜在狄利克雷分配（hierarchical Latent Dirichlet Allocation, hLDA）主题模型和语句压缩的多文档摘要方法。hLDA是一种有代表性的完全概率生成模型。它不仅能在大规模离散数据中挖掘潜在主题,同时自动适应数据集的增长,并能把这些隐含主题组织成树状的层次结构,识别主题间的抽象关系,从而实现更深层次的语义内涵分析。本文的主要内容和工作有如下几个方面： 1)以句子为基本处理单元,构建多文档数据集的层次主题树结构模型。hLDA模型树中的每一个节点是一个主题,每一个主题由不同的词构成,从根节点到子节点选择主题生成一条路径,所有的句子自动的分配到不同的路径上,同一条路径上的句子组成的簇构成了一个子主题,这是我们抽取句子的重要依据。 2)研究了句子抽取策略,基于前面层次主题句子聚类的结果,我们根据主题的重要度从不同的主题中抽取句子。主要考虑了句子与标题的相似度、句子的抽象程度、句子的长度等多种特征信息来衡量句子权重。由于受摘要长度的限制,我们借助语句压缩方法为摘要句剪枝,提高其质量和可读性。 3)研究了摘要质量评测方法,通过借助原文档集合和专家理想摘要两种方法对TAC2010发布的所有摘要进行了评测,结果表明了该方法的有效性。

关键词：多文档摘要层次潜在狄利克雷分配主题模型语句压缩