检索结果-南通市图书馆

基于TFIDF的社区问答系统问句相似度改进算法

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

北京理工大学学报 2017年第9期37卷 982-985页

作者：赵胜辉李吉月徐碧孙博研北京理工大学信息与电子学院北京100081

针对社区问答系统问句相似度计算问题,提出了一种改进的TFIDF算法.按照用户的查询意图对问句进行分类,根据特征词在类别中的分布对权值进行调整;将问句的主题词归入特征项进行TFIDF计算.实验结果表明,本文改进的TFIDF算法的P@3比传统的T... 详细信息

针对社区问答系统问句相似度计算问题,提出了一种改进的TFIDF算法.按照用户的查询意图对问句进行分类,根据特征词在类别中的分布对权值进行调整;将问句的主题词归入特征项进行TFIDF计算.实验结果表明,本文改进的TFIDF算法的P@3比传统的TFIDF算法提高了7.66%,比TFIDF-IG算法提高了5.31%,而且P@5和P@10也有不同程度的提高,与传统TFIDF算法和参考改进算法相比,该算法明显提高了检索性能.

关键词：向量空间模型 TFIDF算法社区问答系统问句相似度

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

社区问答系统最佳回答机制的研究

社区问答系统最佳回答机制的研究

作者：刘渊杰上海交通大学

学位级别：硕士

社区问答系统目前已成为一项新兴的Web 2.0服务。不同于传统的自动问答系统,人们在这类系统中提出自己的问题后,其他的用户可以根据自身经验来回答相应的问题。在经过一段时间后,提问者可以在所有别的用户提供的答案中选择一个答案作为... 详细信息

社区问答系统目前已成为一项新兴的Web 2.0服务。不同于传统的自动问答系统,人们在这类系统中提出自己的问题后,其他的用户可以根据自身经验来回答相应的问题。在经过一段时间后,提问者可以在所有别的用户提供的答案中选择一个答案作为最佳答案,或者由大众投票来选取最佳答案。然而,由于该过程完全是通过人工操作,没有机器的自动评判,使得在这类系统中存在回答质量参差不齐,提问者随意选择最佳答案的现象。这不仅导致了社区问答系统本身质量的下降,也给其他系统对其进行重用如搜索系统利用社区问答系统中的＜问题,回答＞对来作为精确知识库带来困难。因此,我们提出了针对社区问答系统中最佳回答机制的研究课题。目前的社区问答系统中的一个机制是一个问题只能有一个最佳回答。而通过我们的观察发现,并不是所有的问题都只有一个最佳回答,有许多问题都可能有很多备选的回答。因此,对于这个问题,我们提出了采用回答摘要技术的方法,通过对问题的所有回答进行摘要来生成最佳回答的备选,这使得问题能够有一个具有全面回答的摘要,不仅弥补了现行系统的不足,也对别的系统对社区问答系统上庞大知识库的重用做了很大的贡献。具体来讲,本文首先对于社区问答系统上的问题和答案进行了深入的研究。我们通过对答案中最佳答案是否可重用标准的分类以及对问题意图的分类后发现,超过78%的问题的最佳答案是在被询问到相似问题时可以重用的,而这其中不超过48%的问题只有一个最佳答案。开放型问题和意见型问题中有多个最佳答案的问题所占的比例最大。接着,本文对于开放型问题和意见型问题这两类在目前的最佳回答机制下对于问题/答案对的重用存在很大改进余地的问题提出了有针对性的回答摘要算法。对于开放型问题,本文提出了回答聚类算法和聚类标签算法;对于意见型问题中的情感型问题,本文提出了情感极性判断算法;对于意见型问题中的列表型问题,本文提出了句子聚类算法。本文同时提出了信息内容和可读性两个标准。并在实验中表明本文所提出的针对问题类型的摘要算法对于原始的最佳回答有着很大的提高。

关键词：社区问答系统自动文档摘要用户行为分类问题分类学答案分类学

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

社区问答系统问句检索方法研究

社区问答系统问句检索方法研究

作者：夏远远大连理工大学

学位级别：硕士

Web2.0的一个显著特征是互联网内容的提供者由之前的管理者变成了全体互联网用户。每天有不计其数的用户生成内容(User Generated Content,UGC)被提交的互联网当中,这在一方面充实网络内容的同时,另一方面也使得网络上充斥着大量的噪声... 详细信息

Web2.0的一个显著特征是互联网内容的提供者由之前的管理者变成了全体互联网用户。每天有不计其数的用户生成内容(User Generated Content,UGC)被提交的互联网当中,这在一方面充实网络内容的同时,另一方面也使得网络上充斥着大量的噪声,给希望尽快从网络当中获取信息知识的用户造成一定的困难。基于用户生成内容的社区问答系统的出现解决了这样的问题,它依靠全体社区用户的参与来解决同样来自社区用户提出的问题,这种社区用户协作的形式,成为互联网的一种重要的知识来源。经过一段时间的发展,社区问答系统积累了大量的用户已解决问题,如何在问答社区中检索已解决问题答案来回答用户新提交的问题,成为问答系统研究的一个重要课题,这就是问句检索。问句检索一方面可以帮助用户快速获取问题的答案,另一方面也能够减轻重复问题的提交给问答系统带来的系统冗余的问题。本文首先提出了一种在翻译模型基础上的问句检索模型,解决了翻译模型在背景语料集质量不高的情况下的问句检索性能易受翻译噪声影响的问题。为了获得高质量的翻译模型训练语料,一方面利用社区问答系统的社区属性收集具有比较高相似度的平行问句资源作为背景语料,这主要是借助问句的分类标签和用户标记的相似问题,另一方面利用HNC提供的词汇语义知识修正易出现偏差的翻译概率。在以上工作的基础上构建了一种融合HNC词汇语义知识的问句检索模型,实验结果证明了本文提出模型的检索效果优于当前使用效果较好的模型。在HNC理论提供的词汇语义基础上,本文提出了一种融合语用、语法和语义三个层次相似度的问句检索模型,从句子整体计算检索问句与候选问句之间的相似度关系,在语义层面上的相似度计算使用了第三章提出的方法。在语用层面的相似度计算上,使用哈工大问句分类体系对问句进行问句语用类型的识别,进而计算句子的语用相似度。在语法相似度计算上,利用HNC句类分析结果中的句类表达式,通过比较问句句类表达式的结构,获得问句间的句法相似度关系。在语义相似度计算上,利用问句句类表达式的语义块组成,计算问句间的语义相似度关系。最后综合以上三部分相似度计算的结果,提出一种新的问句检索模型,在真实数据集上的实验验证了该模型的检索效果优于之前的检索模型。

关键词：社区问答系统问句检索 HNC理论翻译模型句类分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

社区问答系统中问题分类及推荐机制的研究

社区问答系统中问题分类及推荐机制的研究

作者：陈俊昆明理工大学

学位级别：硕士

社区问答(Yahoo! Answers、百度知道、新浪爱问等)是一种新型信息共享模式。在社区中用户不仅是提问者,也是回答者,问题则是用户之间的纽带。社区问答系统设置了层级类别,便于用户提出问题时自动或者手动标记问题的类别,以及用户选择自... 详细信息

社区问答(Yahoo! Answers、百度知道、新浪爱问等)是一种新型信息共享模式。在社区中用户不仅是提问者,也是回答者,问题则是用户之间的纽带。社区问答系统设置了层级类别,便于用户提出问题时自动或者手动标记问题的类别,以及用户选择自己感兴趣的类别回答问题。然而随着问题类别的扩增和细化,单纯依靠人工标记既费时又费力,所以大部分提问者没有标记问题的类别,如果仅仅利用少部分人工标记类别的问题,通过传统的分类方法自动给问题分类会导致分类准确率降低。再者,随着用户数和问答量的日益剧增,某用户前一秒提出的问题很可能在后一秒被其他用户提出的问题给淹没,导致问题被回答的效率大幅度降低。因此,本文围绕问题分类以及个性化推荐机制等关键问题开展研究,主要完成以下研究工作：(1)采用基于图的思想,提出了利用标签传播算法对问题进行分类。该方法首先利用图策略来建立问题分类的模型。在这个图模型中,各个节点表示各个有标签和未标签的问题样本,而节点与节点之间的边表示问题样本的相似度。然后,问题分类就转化成节点的标签通过传播概率传递到其他节点,循环传播直到标注概率收敛,问题分类完成。用“百度知道”上爬取的数据进行分类实验,结果显示,在少量有标签的问题样本的情况下,采用标签传播算法的问题分类准确率有显著的提高。(2)在已知问题类别的基础上,构建用户模型。该用户模型首先考虑了用户的动态兴趣度,它是指用户在新问题被提出时对该问题类别的感兴趣程度,通过用户的历史回答记录计算回答该类别下每一个问题的时间权重,时间权重之和越大说明用户在最近时间段对该类别的问题越感兴趣。但由于用户回答问题的能力各不相同,兴趣度高的用户不一定给出的答案质量高,所以还要考虑用户的专长度。根据社区问答系统的采纳答案机制,构建带权重的用户链接关系图,将社区问答系统的个性化设置融入带权重的链接算法中,从而计算用户专长度。(3)提出一种基于用户模型的问题推荐方法。由于构建的用户模型反应了用户动态兴趣度和用户专长度,将两者的值相乘得到用户与新问题的匹配值,根据匹配值的高低构成用户推荐列表,从而完成对新问题的推荐。用“百度知道”上爬取的数据进行推荐实验,结果显示,使用该推荐方法对新问题的推荐在精度值(P@N-Percent)上有显著的提高。

关键词：社区问答系统标签传播问题分类用户模型问题推荐机制

社区问答系统中融入用户标签和用户行为的列表排序方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

社区问答系统中融入用户标签和用户行为的列表排序方法研究

作者：李祎阳昆明理工大学

学位级别：硕士

早期的搜索引擎,如百度、Google等为互联网用户提供了比较方便的信息获取方式,用户通过在搜索引擎中输入相关关键词可以很快得到自己想要的信息。但是随着互联网上信息的大爆炸以及生活节奏的加快,传统的搜索引擎已经不能很好地满足互... 详细信息

早期的搜索引擎,如百度、Google等为互联网用户提供了比较方便的信息获取方式,用户通过在搜索引擎中输入相关关键词可以很快得到自己想要的信息。但是随着互联网上信息的大爆炸以及生活节奏的加快,传统的搜索引擎已经不能很好地满足互联网用户快速获取目标知识的需求。然而,社区问答系统的出现弥补了搜索引擎的这种不足。社区问答系统开放性和交互性的特点将问题提问者和回答者紧密地联系在一起,可以满足用户更直接地快速地获取目标知识的需求。而在社区问答系统中答案排序是至关重要的,排序的准确性直接影响问答系统的质量和用户的体验。本文针对社区问答系统中的答案排序进行了如下几个方面的研究：(1)分析了社区问答系统中影响答案排序效果的特征。社区问答系统的特征包括用户标签和用户行为。社区问答系统中用户标签有问题回答者级别、问题回答者的擅长领域、问题回答者的被采纳率、问题回答者的被赞同数、问题回答者的经验值和问题回答者所关注的关键词等;用户行为有提问者的打分、游客的打分以及问题回答者经常回答的问题类别等。本文结合以上特征来对答案进行排序,后续实验表明融入用户标签和行为特征能有效提高答案排序的效果。(2)采用一种基于集成方法的半监督问句分类方法构建分类模型。为了将问题回答者的擅长领域和关注的关键词等特点有效地利用起来,必须对问句进行分类来匹配问题回答者的相关标签。该方法通过集成方法对分类器进行集成,再结合半监督学习方法用处理好的少量有标记问句特征和大量无标记问句特征来训练分类模型。然后用训练出的模型对新的问句进行分类,实验表明用基于集成的半监督分类方法可以有效提高问句分类准确率。(3)采用一种融入用户标签和用户行为特征的列表排序方法构建排序模型。首先对社区问答系统中用户标签和用户行为进行研究和分析,选取具有利用价值的用户标签和行为特征融合到答案特征空间中。选用神经网络作为模型,利用梯度下降法作为优化参数的ListNet作为排序方法,构建融入用户标签和用户行为特征的ListNet答案排序模型。最后用训练好的排序模型对已经经过处理的答案特征空间进行实验,对比实验结果表明融入用户标签和用户行为特征的ListNet答案排序方法能明显提高答案排序效果。(4)采用一种基于用户标签和用户行为优化的列表排序方法构建排序模型。分析研究社区问答系统中用户标签和用户行为,选取具有利用价值的用户标签和用户行为对ListNet排序模型进行优化。结合融入用户标签和用户行为的特征空间构建基于用户标签和用户行为优化的ListNet答案排序模型。最后用训练好的排序模型对已经经过处理的答案特征空间进行实验,对比实验结果表明基于用户标签和用户行为优化的ListNet答案排序方法能不同程度地提高答案排序的效果。

关键词：社区问答系统用户特征 ListNet 排序学习排序模型

社区问答系统中非事实性问题的答案摘要算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

社区问答系统中非事实性问题的答案摘要算法研究

作者：宋宏亚山东大学

学位级别：硕士

最近几年,我们可以看到,社区问答系统中的用户数量正呈现出高速增长的态势。社区问答系统给用户提供了一个发布问题以及寻找答案的平台,而这个广大的平台中所包含的海量的问题与答案对数据,也逐渐成为了国内外科研人员的新的研究热点。... 详细信息

最近几年,我们可以看到,社区问答系统中的用户数量正呈现出高速增长的态势。社区问答系统给用户提供了一个发布问题以及寻找答案的平台,而这个广大的平台中所包含的海量的问题与答案对数据,也逐渐成为了国内外科研人员的新的研究热点。此前已经有很多论文关注了社区问答系统场景下的多个研究课题,而在本学位论文中,我们关注的主要任务是社区问答系统中的答案摘要问题。虽然大多数之前的研究工作主要关注的是事实性问题,在本学位论文中,我们的工作重点则是非事实性问题。在事实性社区问答系统中,问题通常是寻求一个确定的答案,而问题的答案大多数都是单独的句子,与之不同的是,非事实性问题往往是在寻求看法、观点、意见,因此,非事实性问题通常需要用多个句子、甚至是整篇文章来作为答案。传统的多文档摘要任务主要是针对新闻文章,与之相比,在非事实性社区问答系统中的答案摘要就面临着其独特的挑战:答案句子的简短性、稀疏性,以及答案内容的多样性。为了解决这些挑战,我们提出了一个包含了三个核心要素的、基于稀疏编码的答案摘要策略:答案句子的短文本扩充,句子的向量化表示,以及稀疏编码优化框架。具体来说,通过实体链接和基于问题答案句子排序的策略,我们把一个问题下的每一个答案句子扩展成包含了多个维基百科句子组成的更复杂的表示。在此基础之上,每个句子都通过一个基于短文本的卷积神经网络模型被表示成一个特征向量。之后我们利用这些句子的向量表示,提出了一个稀疏编码的优化框架,通过同时考虑候选答案句子以及辅助的维基百科句子,来评估所有候选句子的独特性得分。在得到了这些候选答案句子的独特性得分之后,基于最大边界相关性算法,我们抽取出得分最高的答案句子,来产生最终的答案摘要。我们在本学位论文中的主要贡献是,通过处理非事实性问题中答案句子的简短性和稀疏性,以及答案内容的多样性这三个问题,我们解决了社区问答系统中非事实性问题的答案摘要问题。另外,我们在一个公开的基准数据集上进行了实验,并与一些当下最新的基准实验方法进行了比较,以评估我们提出的非事实性社区问答系统中的答案摘要方法的性能。相关实验结果不仅证实了我们提出的方法的有效性,而且相较于最新的研究方法,我们提出的方法在ROUGE评价指标上有着显著提升。此外,进一步的实验结果分析,也说明了我们提出的算法具有良好的稳定性和扩展性。

关键词：社区问答系统稀疏编码短文本处理文档摘要

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

社区问答系统中答案排序迁移学习的方法研究

社区问答系统中答案排序迁移学习的方法研究

作者：原立伟昆明理工大学

学位级别：硕士

随着互联网技术的不断发展使得人们获取知识、解决问题的方式变得越来越便捷。传统的搜索引擎公司,例如雅虎、谷歌等为日益增多的互联网用户提供了更为方便的信息获取方式,用户可以通过在搜索对话框中输入相关关键词从而快速得到自己想... 详细信息

随着互联网技术的不断发展使得人们获取知识、解决问题的方式变得越来越便捷。传统的搜索引擎公司,例如雅虎、谷歌等为日益增多的互联网用户提供了更为方便的信息获取方式,用户可以通过在搜索对话框中输入相关关键词从而快速得到自己想要的信息。但是随着互联网的普及以及互联网自身内容的不断丰富,人们在获取答案的同时,也对得到最佳答案的便易性提出了更高的要求。基于社区问答的个性化服务有效的弥补了传统搜索引擎技术上的不足从而越来越受到各个互联网公司的重视。社区问答系统是一种新兴知识共享模式,通过用户提交问题和答案,社区积累了大量的问答对(question answering pairs)。当用户提交新问题时,如何通过排序,为用户提供准确的答案序列,是社区问答系统的重要环节。传统的排序算法主要利用监督学习的方法构建排序模型,它需要通过大量人工标记数据来训练模型。目前国内外学者提出了许多基于监督排序学习的方法并且在实际生活中得到了很好的应用,例如排序支持向量机,它就是基于监督学习的排序算法中的典型代表,通过大量的标注数据,输入到指定的学习机当中,然后自动训练得到一个排序模型。基于监督排序学习的方法往往需要相当规模的标注数据,保证训练模型的可靠性,但是在实际环境当中由于标注数据的不足。当数据缺乏的时候监督排序学算法的可靠性就会相应的降低。某个特定领域训练好的排序模型,在新的领域往往不能获得好的效果。并且互联网中数据更新很快,之前标注的数据随着时间的推移就无法适应当前模型的训练。针对实际应用中标注不足的问题借助迁移学习的思想对传统的排序学习方法进行改进。利用基于特征选择的迁移学习排序算法,假设源领域与目标领域存在共享的低维特征表示,以用户的多个兴趣为源领域和目标领域的共享特征,从而使目标领域达到知识迁移的目的。我们通过分析社区问答系统自身的特点可以观察到它存在许多基于用户行为的标签。结合基于特征的迁移学习方法将这些用户特征融入到特征空间,通过选取社区中具体价值的用户标签和用户行为标签对基于特征的迁移学习排序算法进行优化。例如问题回答者的擅长领域这个特征,一个问题的回答者可能会擅长多个领域(比如网球和羽毛球)在特征向量中该特征主要以布尔类型来表示,擅长为1不擅长为0。那么这个特征在羽毛球和网球类别中的布尔类型均为1,即这个特征可以作为羽毛球和网球两个不同类别共性特征来使用,从而改善了排序学习方法。通过实验的验证,证实了融入用户特征的迁移学习答案排序算法能够有效的提高答案排序的效果。

关键词：社区问答系统用户特征排序学习迁移学习排序模型

基于HNC句类的社区问答系统问句检索模型构建

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用研究 2020年第6期37卷 1769-1773页

作者：王宇王芳大连理工大学经济管理学院辽宁大连116024

社区问答系统中充斥着大量的噪声,给用户检索信息造成麻烦,以往的问句检索模型大多集中在词语层面。针对以上问题构建句子层面的问句检索模型。新模型基于概念层次网络(hierarchincal network of concept,HNC)理论当中的句类知识,从句... 详细信息

社区问答系统中充斥着大量的噪声,给用户检索信息造成麻烦,以往的问句检索模型大多集中在词语层面。针对以上问题构建句子层面的问句检索模型。新模型基于概念层次网络(hierarchincal network of concept,HNC)理论当中的句类知识,从句子的语用、语法和语义三个层面计算问句间相似度。通过问句分类算法确定查询问句和候选问句的问句类别,得到问句间的语用相似度,利用句类表达式的结构和语义块组成分别计算问句间的语法及语义相似度。在真实数据集上的实验表明,基于HNC句类的新模型提高了问句检索结果的准确性。

关键词：社区问答系统问句检索 HNC理论句类分析相似度计算

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于社区问答系统的中文短文本标签生成研究

基于社区问答系统的中文短文本标签生成研究

作者：李文根南京大学

学位级别：硕士

随着互联网的繁荣发展,互联网用户数目急剧增加,用户生成内容愈发庞杂,如何有效管理海量的用户数据变得愈发重要。社区问答系统是目前十分流行的用户生成内容型应用。标签系统作为管理海量用户生成内容的重要工具,也是目前社区问答系统... 详细信息

随着互联网的繁荣发展,互联网用户数目急剧增加,用户生成内容愈发庞杂,如何有效管理海量的用户数据变得愈发重要。社区问答系统是目前十分流行的用户生成内容型应用。标签系统作为管理海量用户生成内容的重要工具,也是目前社区问答系统的一个重要子系统。社区问答系统的问题内容是一种常见的社会化短文本,短文本具有包含信息少、特征稀疏的特点,这导致传统的文本处理方法往往无法有效适用于短文本处理场景。本文通过深入研究社区问答系统以及标签系统,提出了利用外部知识库构建图模型的标签生成方法、采用文本聚集和词组发现的标签生成方法和基于相似度推荐的标签生成方法。社区问答系统的发展是一个用户逐渐聚集的过程。在社区问答系统早期,用户提出的问题较多而回答的内容较少;当用户数目逐渐增多,问题页面的回答内容逐渐变多;当社区问答系统发展繁荣时,用户数目众多且问题类型丰富,标签体系趋于稳定且新增标签比例较低,社区问答系统中的标签可复用比例较高。首先,本文提出了一种利用外部知识库构建图模型的标签生成方法,此方法通过引入维基百科作为外部知识库来构建词语之间的相似度矩阵,再将相似度矩阵引入到TextRank模型从而改进TextRank模型进行标签生成。此方法将维基百科的每个词条作为主题,通过各个词语在主题的分布来衡量各个词语之间的相似度,从而构建相似度矩阵。此方法只需要社区问答系统中的问题文本内容即可进行标签生成,可以有效应用于社区问答系统页面内容不够丰富的场景中。当社区问答系统中的问题页面内容较为丰富时,基于社区问答系统中的问题内容与答案内容具有高度的相关性的假设,本文提出了一种采用文本聚集和词组发现的方法进行标签生成。此方法通过扩大生成标签的覆盖率从而提高标签生成的效果。首先,此方法通过对标签体系进行深入挖掘得到标签构成规则,将此标签构成规则作为先验知识,然后通过文本聚集合并问答对,对聚集后的文档利用标签构成规则、点互信息和左右信息熵进行词组挖掘,最后进行标签生成。此方法不仅生成词语还生成词组作为标签,从而提高了生成标签的覆盖率。此方法需要社区问答系统中的问题文本内容和答案文本内容,适合于社区问答系统中页面内容较为丰富的场景。最后,当社区问答系统中的标签体系逐渐稳定时,新增标签比例较低,且标签可复用比例高。针对于此,本文提出了一种基于相似度推荐的方法用于标签生成。此方法采用文本聚集合并问答对作为独立文档的方法,通过计算文档之间的相似度找出目标文档的top-m个相似文档,将相似文档的标签聚合作为标签候选集,通过标签再排序找出目标文档的top-n个标签作为标签推荐。此方法引入主题模型对特征空间进行降维,从主题层面来计算文档之间的相似度。此方法不生成新的标签,通过对标签的复用从而进行推荐进行标签生成。此方法需要社区问答系统中的问题文本内容和答案文本内容,适合于社区问答系统中内容丰富且标签体系趋于稳定的场景。

关键词：社区问答系统短文本标签生成图模型文本聚集词组发现主题模型