检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于句子评分的多文档摘要提取

山西大学学报(自然科学版) 2015年第3期38卷 406-412页

作者：张世博刘博爱北京邮电大学计算机学院北京石油化工学院计算机系

技术越来越得到关注,文章设计了从多文档中生成摘要的方法。基于多种语义特征和语义相似度计算句子的重要性评分值,使用stack decoder算法利用多个堆栈生成摘要;基于分团问题的生成方式构建了句子的非相似性图,通过求解非相似图中有边... 详细信息

技术越来越得到关注,文章设计了从多文档中生成摘要的方法。基于多种语义特征和语义相似度计算句子的重要性评分值,使用stack decoder算法利用多个堆栈生成摘要;基于分团问题的生成方式构建了句子的非相似性图,通过求解非相似图中有边的子集合顶点选取合适的句子。实验以DUC2004语料集为数据集,通过上述方法产生摘要,ROUGE评测指标达0.069 7,与已有方法相比在ROUGE值上有明显提高,并对归一化方法进行了讨论,探索了适用的归一化措施。

关键词：文档摘要语义相似度语义特征

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

面向汉越新闻文档的摘要生成方法研究

面向汉越新闻文档的摘要生成方法研究

作者：吴瑾娟昆明理工大学

学位级别：硕士

随着“一带一路”建设的推进,中国与越南的双边合作交流更趋密切和深入,且涉及领域范围广泛,相关新闻报道日益增多,及时了解两国共同关注的热点新闻主要内容对双边合作意义重大。本文研究面向汉越双语新闻文档的摘要生成方法,旨在对汉... 详细信息

随着“一带一路”建设的推进,中国与越南的双边合作交流更趋密切和深入,且涉及领域范围广泛,相关新闻报道日益增多,及时了解两国共同关注的热点新闻主要内容对双边合作意义重大。本文研究面向汉越双语新闻文档的摘要生成方法,旨在对汉越双语新闻进行总结提炼,提供一个简洁流畅的摘要系统。由于涉及不同语言的文本分析,本文将着重研究多语言文本间的关联关系对于摘要生成的影响,其面临的关键问题在于如何将汉越双语文本映射到同一空间下进行关联分析,如何从大量的新闻文档中识别重要信息并加以总结。近年来深度学习模型在多个领域展现出巨大的潜力,因此本文尝试探讨在深度学习框架下提升文本摘要性能的方案,主要完成了以下研究工作:1)提出基于句子关联性注意力机制的文本摘要生成方法。单文本摘要任务旨在对文档的内容总结归纳生成简短的摘要,表达原文中最重要的信息,其关键在于模型对源文档中句子重要性评估的有效程度。为了增强文本生成模型对句子级信息的识别能力,本文提出基于句子关联注意力机制的神经网络模型构建摘要生成框架。首先,使用分层的Bi-LSTM对文档进行编码,获取句子结构向量,然后通过门控网络分析句子间的关联关系,实现句子级别的重要性及冗余性评估,最后提出将句子关联性分析融入注意力机制中解码生成摘要。实验表明,本文提出的方法在多项ROUGE评价指标上取得了较好的效果。(2)提出基于要素关联注意力机制的汉越双语新闻文档摘要生成方法。汉越新闻文档摘要任务旨在对描述同一事件的双语新闻文档集中的句子进行分值排序抽取摘要,句子的分值在很大程度上依赖于句子在多语言文档集中的显著程度,因此涉及跨语言文档集相关性分析问题,考虑到相同新闻事件的要素信息具有一致性,本文提出在神经网络的注意力机制中融合双语要素特征进行关联分析,指导摘要生成。首先,依据词嵌入的向量表示及汉越词典,分析双语文本中要素共现程度、词频、句子位置及相关性等统计特征;然后,将其融入神经网络,提出基于双语要素的注意力机制设置句子重要性回归分值;最后,选取得分高的句子并依据相似性进行冗余筛选生成摘要。实验表明,本文提出的方法取得了较好的结果。(3)搭建汉越双语新闻文档摘要原型系统。摘要系统可同时分析提炼双语新闻文档集,自动选取与源文档关联性最强的内容,然后将其概括为短篇幅的文字,为用户呈现简短的概括总结。

关键词：汉越双语文档摘要深度学习注意力机制句子关联要素关联

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向主题的文档摘要技术研究

面向主题的文档摘要技术研究

作者：刘治华北方工业大学

学位级别：硕士

随着经济、社会的飞速发展,尤其是互联网的迅猛发展,网络信息量呈爆炸式增长。如何从海量的信息中快速的获取有效信息已成为目前亟待解决的问题。目前蓬勃发展的搜索引擎技术主要用于通用信息的获取,而对于特定地、内容不适合公开的领... 详细信息

随着经济、社会的飞速发展,尤其是互联网的迅猛发展,网络信息量呈爆炸式增长。如何从海量的信息中快速的获取有效信息已成为目前亟待解决的问题。目前蓬勃发展的搜索引擎技术主要用于通用信息的获取,而对于特定地、内容不适合公开的领域则还没有成熟的系统。本文针对标准化过程中的重要阶段——标准信息的有效挖掘与获取,实现了一个海量信息垂直搜索引擎,并对搜索引擎中的摘要技术(即面向主题的摘要)进行重点研究,着重于对摘要提取效率、与查询主题相关、反映文档主要内容三者的平衡,以满足用户的信息需求。本文主要在提高摘要的处理效率、基于关键词提取摘要、摘要中句子间的冗余去除方面进行了深入细致的工作。在提高效率方面,引入搜索引擎的倒排链表结构统计词、句子的特征,并使用双数组Trie树存储分词词典和用户主题词表,以期提高词的查找效率。将关键词提取与摘要提取相结合,在关键词提取中引入了词邻接类别、词的位置局部性分别提高高频词、低频词的质量。在去除句子冗余度方面,提出句子之间的包含度概念,能够对文章中存在包含关系的一类句子进行了有效的排重,降低了文摘的冗余度,提高了文摘质量。另外,本文实现了一个垂直搜索原型系统,并将其作为面向主题摘要的一个应用场景。成功将编码压缩、内存交换、缓冲池等技术应用于实际系统中,并将该系统应用于标准检索与组织机构搜索,目前已在河北省标准化研究院、中国邮政集团名址中心上线。将自动文摘、垂直搜索、数据库连接起来,形成一个完整的针对标准信息进行管理的统一解决方案。将文摘、搜索技术呈现给最终用户。

关键词：文档摘要主题关键词提取句子包含关系垂直搜索

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Markov逻辑网的句子压缩方法

清华大学学报（自然科学版） 2011年第11期51卷 1686-1690页

作者：金锋黄民烈朱小燕清华大学计算机科学与技术系北京100084

提出了一种基于Markov逻辑网通过删除单词进行英文句子压缩的方法。通过一阶逻辑公式表示单词的局部特征以及单词之间的相互依赖关系,确定单词是否应该删除。与现有方法相比,该方法把判别式学习和整数规划的优点相结合,既融合了丰富的... 详细信息

提出了一种基于Markov逻辑网通过删除单词进行英文句子压缩的方法。通过一阶逻辑公式表示单词的局部特征以及单词之间的相互依赖关系,确定单词是否应该删除。与现有方法相比,该方法把判别式学习和整数规划的优点相结合,既融合了丰富的句子特征,又以逻辑公式方便地表示全局约束。在书面和口语两个新闻数据集上的实验结果表明:该方法与L3和SVTL系统相比具有明显优势,在压缩率接近时,以人工压缩结果为评测标准,压缩后句子的依存关系F-score有较大提高。

关键词：句子压缩文档摘要 Markov逻辑网

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于阅读行为的图书章节摘要生成研究

基于阅读行为的图书章节摘要生成研究

作者：安文佳浙江大学

学位级别：硕士

近年来,随着社交网络和移动互联网的兴起,传统数字化阅读已经无法满足用户的阅读需求。社会化阅读[1]作为数字化阅读的一个新领域,受到了越来越多的关注。用户在阅读图书的时候,其行为数据中蕴含着大量有价值的信息,这些行为数据一方面... 详细信息

近年来,随着社交网络和移动互联网的兴起,传统数字化阅读已经无法满足用户的阅读需求。社会化阅读[1]作为数字化阅读的一个新领域,受到了越来越多的关注。用户在阅读图书的时候,其行为数据中蕴含着大量有价值的信息,这些行为数据一方面反映了用户自身的阅读习惯,另一方面也可以反映图书本身的价值所在。然而,传统的数字化阅读平台仅仅为用户提供了基本的阅读服务,社会化阅读在基本阅读服务的基础上,通过对用户阅读行为的分析,可以更好地掌握用户的阅读习惯,为用户提供更加优质的阅读内容和阅读体验。中国工程院知识中心知识服务系统中的图书阅读评注子系统是结合了社会化阅读和Crowdsourcing[2]技术的图书阅读学习平台。图书阅读评注系统通过对用户在浏览阅读图书时的阅读行为数据进行记录采集、分析理解和建模应用,为用户提供更加优质的阅读服务。本文的主要研究内容是通过对用户图书阅读行为的分析来评价图书书页的重要性和进行图书章节摘要的生成。在图书书页重要性评分体系中,我们借用了用户阅读深度的概念,将用户图书阅读分为四个不同的阅读层次;在图书章节摘要生成算法实现部分我们使用了数据流形结构上的排序算法[3]来传播句子权重,最后采用数据线性重构方法[4]生成图书章节摘要。

关键词：社会化阅读文档摘要众包权重传播评分体系

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向微博的事件摘要生成算法研究与实现

面向微博的事件摘要生成算法研究与实现

作者：张靓云西南交通大学

学位级别：硕士

随着微博类应用的风靡,用户在微博平台上产生的数据在每时每刻地快速增长,搜索引擎虽然能够根据用户输入的事件关键词从海量的数据中返回相关微博,但大量的微博数据,加之微博信息碎片化的特点,用户很容易淹没在搜索引擎返回的信息流中... 详细信息

随着微博类应用的风靡,用户在微博平台上产生的数据在每时每刻地快速增长,搜索引擎虽然能够根据用户输入的事件关键词从海量的数据中返回相关微博,但大量的微博数据,加之微博信息碎片化的特点,用户很容易淹没在搜索引擎返回的信息流中。如何帮助用户快速了解到事件在发展过程中的要点信息,成为亟待解决的一个问题。本文针对信息过载的问题,结合微博的短文本特性和社会化特征,提出一个微博场景下的事件摘要方案,为事件生成时间轴摘要。围绕微博事件摘要的关键技术,本文主要内容如下：第一,提出一种基于关键词共现词图的子事件检测算法。针对事件相关的微博文档集合,该算法利用关键词在文档中的共现关系构建词图,通过社区检测的算法划分关键词社区,每一个社区作为一个子事件,以社区中的关键词作为子事件特征实现子事件文档聚类。实验结果表明该算法能够较有效的检测出主要的子事件,能为后续摘要提供高质量输入。第二,提出一种微博事件摘要生成算法。该算法通过突发性估计检测出事件的重要时间点,对重要时间点上的微博集合应用所提出的子事件检测算法,并对检测出的子事件进行重要度排序,从重要度高的子事件中选取评分高的微博生成摘要。在这一过程中,我们分析了微博社会化特征对于微博消息重要度的影响,提出一种子事件重要度评估方法,以及一种融合社会关注度和子事件概括程度的微博评分方法。实验结果表明,该算法生成的摘要取得了较好的效果。第三,根据所提出算法实现了一个微博事件摘要系统,该系统生成的时间轴摘要内容充实,要点全面,有助于用户理解事件。

关键词：事件摘要子事件检测文档摘要社区检测自然语言处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

知识管理平台中的数据智能处理

知识管理平台中的数据智能处理

作者：王晶晶华南理工大学

学位级别：硕士

知识资源作为现代经济时代企业发展的第一推动力，高效的知识管理成为提升企业竞争力的关键。文档智能处理作为知识管理平台中要实现的主要功能之一，对所收集的文档做分类及摘要处理，方便后续知识利用。同时，文档分类和摘要技术作为... 详细信息

知识资源作为现代经济时代企业发展的第一推动力，高效的知识管理成为提升企业竞争力的关键。文档智能处理作为知识管理平台中要实现的主要功能之一，对所收集的文档做分类及摘要处理，方便后续知识利用。同时，文档分类和摘要技术作为信息处理领域的关键技术，还可以应用在其他场合。现阶段文档分类技术主要利用机器学习的方法，通过学习生成分类模型，后期利用已生成的分类模型对文档进行分类。这种方法的弊端在于分类模型一旦建立，要更改分类体系就必须建立新的分类模型，代价过高。文档摘要的问题在于文摘质量的低完备性和高冗余性。针对这两个问题，本论文提出了一种基于特征词的文档分类方法和基于多特征的去除文摘冗余的方法。基于特征词的文档分类方法为分类体系中的每个类别提取一定数量的关键词，通过统计各个类别关键词的多少决定文档所属的类别信息。基于多特征的去除文摘冗余方法，首先根据位置、标题、关键词计算文档中语句的权值，然后根据词形、词序计算语句间的相似性。得到含有冗余因子的新的文档语句权值，然后选取适量语句作为文档摘要输出。试验结果表明，基于特征词的文档分类方法与一般采用的机器学习分类方法相比，拥有相同的召回率、准确率和F1指标，能够达到实际应用水平。文档自动摘要的结果易于阅读，容易理解。实验数据显示，自动文摘准确率较高，召回率略低。表明自动文摘的准确性较高，但是完备性有待提高。总的来说，自动文摘能较好的表达文章含义。

关键词：文档智能处理文档分类文档摘要

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向网络论坛的动态主题建模与文本摘要

面向网络论坛的动态主题建模与文本摘要

作者：任昭春山东大学

学位级别：硕士

网络的发展带来了前所未有的技术革新,而作为一种社交媒体,网络论坛正在成为人们日常交流的重要工具。在网络论坛中,用户通过自己的账户发布和回复信息。一个论坛常常涉及各个方面,诸如文化,体育,政治等等。许多参与度极高的论坛不仅成... 详细信息

网络的发展带来了前所未有的技术革新,而作为一种社交媒体,网络论坛正在成为人们日常交流的重要工具。在网络论坛中,用户通过自己的账户发布和回复信息。一个论坛常常涉及各个方面,诸如文化,体育,政治等等。许多参与度极高的论坛不仅成为了参与用户针对各个问题的发布个人观点的平台,同时也成为了解民意的重要平台,因为各个敏感事件也往往是首先出现在论坛中。然而,如何在网络论坛中追踪动态变化的主题,掌握论坛文档的主要内容,从而更好的更及时的监控与跟踪敏感话题,正在变成一个极具挑战性的问题。同时作为网络论坛的用户,每当浏览网络论坛各个文档的时候,用户往往会为数量众多而冗余度极高的各种帖子所迷惑,从而降低了阅读效率和质量。如何帮助用户快速的理解网络论坛文档的内容,也成为一项富有意义的工作。随着主题模型的提出,近年来,国内外针对网络中出现的主题追踪有了一系列的成果,但是针对诸如网络论坛这种结构复杂的社交媒体中的短文档流,则-直缺乏很好的研究成果。其原因在于论坛文档中容易出现主题依赖,主题漂移的现象。同时由于论坛帖子是短文档,用户的发帖往往并不注意语法,修辞与拼写,这样就导致了这些短文本的语义稀疏性特点。本文针对论坛文档由于自身特点缺乏有效的文档摘要方法的现状,提出一种基于LDA主题模型的动态主题模型：回帖传播模型（Post Propagation Model）。本文在主题建模中考虑了Web论坛文档中帖子和帖子之间的回复关系并把主题的分布变为随文档变化而变化的一个动态过程,来解决主题的依赖和偏移问题。为了更精确的推导模型中出现的参数,本文使用Gibbs EM采样算法来确定动态主题模型的参数,从而推导出网络论坛中动态主题在各个不同事件段的分布情况。为了使用户能更迅速的理解每一篇论坛文档中的主要内容,基于回帖传播模型,本文提出了三种论坛文档摘要方法。通过计算句子中主题权重的之和来确定各个主题的重要程度;最后根据动态主题模型中主题的概率分布计算各句子的权重并得到文档的摘要。为了优化实验效果,本文在此基础上引入了马尔科夫随机游走模型,并通过主题敏感的排序过程,来重新为文档中的句子赋值来生成摘要。由于缺乏相应的公开实验数据集,本文中作者从目前用户参与度很高的两个论坛中爬取了400篇文档的数据,建立了自己的实验数据集。本文首先检测了主题模型在数据集上的主题建模结果,尤其是针对同一主题在不同时间段的变化。实验结果表明本文所建立的回帖传播模型（Post Propagation Model）具有比LDA等静态主题模型更敏感的主题检测功能。针对网络论坛的摘要,我们对从热门网络论坛总爬取的数据集进行了人工摘要,并引入了在文档摘要技术中被广泛使用的ROUGE评测方法。实验结果表明新方法在各个ROUGE评测标准上均优于其他各种对比的baseline摘要方法。

关键词：网络论坛主题建模文档摘要马尔科夫随机游走模型主题敏感PageRank算法自然语言处理机器学习信息检索

社区问答系统中非事实性问题的答案摘要算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

社区问答系统中非事实性问题的答案摘要算法研究

作者：宋宏亚山东大学

学位级别：硕士

最近几年,我们可以看到,社区问答系统中的用户数量正呈现出高速增长的态势。社区问答系统给用户提供了一个发布问题以及寻找答案的平台,而这个广大的平台中所包含的海量的问题与答案对数据,也逐渐成为了国内外科研人员的新的研究热点。... 详细信息

最近几年,我们可以看到,社区问答系统中的用户数量正呈现出高速增长的态势。社区问答系统给用户提供了一个发布问题以及寻找答案的平台,而这个广大的平台中所包含的海量的问题与答案对数据,也逐渐成为了国内外科研人员的新的研究热点。此前已经有很多论文关注了社区问答系统场景下的多个研究课题,而在本学位论文中,我们关注的主要任务是社区问答系统中的答案摘要问题。虽然大多数之前的研究工作主要关注的是事实性问题,在本学位论文中,我们的工作重点则是非事实性问题。在事实性社区问答系统中,问题通常是寻求一个确定的答案,而问题的答案大多数都是单独的句子,与之不同的是,非事实性问题往往是在寻求看法、观点、意见,因此,非事实性问题通常需要用多个句子、甚至是整篇文章来作为答案。传统的多文档摘要任务主要是针对新闻文章,与之相比,在非事实性社区问答系统中的答案摘要就面临着其独特的挑战:答案句子的简短性、稀疏性,以及答案内容的多样性。为了解决这些挑战,我们提出了一个包含了三个核心要素的、基于稀疏编码的答案摘要策略:答案句子的短文本扩充,句子的向量化表示,以及稀疏编码优化框架。具体来说,通过实体链接和基于问题答案句子排序的策略,我们把一个问题下的每一个答案句子扩展成包含了多个维基百科句子组成的更复杂的表示。在此基础之上,每个句子都通过一个基于短文本的卷积神经网络模型被表示成一个特征向量。之后我们利用这些句子的向量表示,提出了一个稀疏编码的优化框架,通过同时考虑候选答案句子以及辅助的维基百科句子,来评估所有候选句子的独特性得分。在得到了这些候选答案句子的独特性得分之后,基于最大边界相关性算法,我们抽取出得分最高的答案句子,来产生最终的答案摘要。我们在本学位论文中的主要贡献是,通过处理非事实性问题中答案句子的简短性和稀疏性,以及答案内容的多样性这三个问题,我们解决了社区问答系统中非事实性问题的答案摘要问题。另外,我们在一个公开的基准数据集上进行了实验,并与一些当下最新的基准实验方法进行了比较,以评估我们提出的非事实性社区问答系统中的答案摘要方法的性能。相关实验结果不仅证实了我们提出的方法的有效性,而且相较于最新的研究方法,我们提出的方法在ROUGE评价指标上有着显著提升。此外,进一步的实验结果分析,也说明了我们提出的算法具有良好的稳定性和扩展性。

关键词：社区问答系统稀疏编码短文本处理文档摘要