检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于新闻时效性模型的协同过滤推荐算法研究

基于新闻时效性模型的协同过滤推荐算法研究

作者：李薇江苏科技大学

学位级别：硕士

网络社会的飞速发展,网络新闻数据的规模日益庞大,使得新闻生产过程中的知识挖掘变得困难;新闻消费者更是难以在海量的网络新闻中快速寻找符合自己兴趣的新闻。因此,对网络新闻数据的处理策略进行研究具有重要的应用价值。精准的网络新... 详细信息

网络社会的飞速发展,网络新闻数据的规模日益庞大,使得新闻生产过程中的知识挖掘变得困难;新闻消费者更是难以在海量的网络新闻中快速寻找符合自己兴趣的新闻。因此,对网络新闻数据的处理策略进行研究具有重要的应用价值。精准的网络新闻主题聚类算法带来高效的新闻挖掘,为个性化推荐算法的研究提供了便捷。本文重点关注网络新闻生产过程中的文档主题聚类与新闻消费过程中的个性化推荐问题,具体研究内容如下:(1)对于网络新闻文档主题聚类中常见的语义不清、聚类算法无法增量更新等问题,提出了基于LDA主题模型的single-pass聚类算法。LDA主题模型结合single-pass聚类算法实现增量数据的更新,在选择聚类质心和初始聚类分布时,先通过新闻热度调整聚类质心的选择,再利用LDA主题聚类算法提供的稳定预聚类结果,从而提高新闻主题聚类算法的效果。仿真实验表明,该算法可以提高聚类算法的准确率,同时适合增量更新。(2)针对网络新闻推荐系统中,新闻时效性差、推荐算法输入集合中过时新闻冗余等问题,结合文献老化模型,提出了一种网络新闻信息老化模型。利用第三章基于LDA主题模型的single-pass聚类算法得到的聚类集合,先计算一个新闻主题聚类集合内的平均传播时间,结合负指数模型,计算新闻发布后的老化率,作为时效性参数,对基于用户的协同过滤算法进行改进,从而提高了推荐效果。通过仿真验证,该算法能提高协同过滤推荐算法效果。(3)融合新闻文档主题聚类与协同过滤推荐算法,实现个性化新闻推荐系统。对于系统的功能和性能进行测试,经测试,本系统功能完善,可以快速采集新闻数据进行处理,并对不同的用户进行个性化的新闻推荐。

关键词： LDA single-pass 算法改进时效性协同过滤

基于LDA模型与聚类的网络新闻热点话题发现研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于LDA模型与聚类的网络新闻热点话题发现研究

作者：万晓霞西华大学

学位级别：硕士

随着互联网技术的飞速发展,各大新闻门户网站应运而生,并成为了新闻媒体发布新闻和人们获取信息的主要渠道。但由于网络新闻的复杂性、冗余性、更新和传播的快速性等,都给人们快速、准确地获取自己所需的关键信息带来了困难,也不利于网... 详细信息

随着互联网技术的飞速发展,各大新闻门户网站应运而生,并成为了新闻媒体发布新闻和人们获取信息的主要渠道。但由于网络新闻的复杂性、冗余性、更新和传播的快速性等,都给人们快速、准确地获取自己所需的关键信息带来了困难,也不利于网络舆情的监控。因此网络新闻热点发现已成为当下研究的热点。本文对传统话题检测方法进行了研究,针对VSM模型在语义挖掘方面和LDA模型在预处理方法方面的不足,结合变色龙聚类算法在话题发现上的应用,提出了基于时间窗口的热点话题发现方法PLDA-CHC-SP。本文的主要工作包括:1)针对LDA建模时传统的数据预处理方法的不足,提出了一种用TF-IDF值对文本词语进行权重过滤的改进预处理的LDA建模方法——PLDA(Promoted Latent Dirichlet Allocation),对于提高热点话题发现的速度和准确率有一定帮助。2)传统的聚类算法大部分是基于VSM模型进行文档建模,而本文充分利用LDA模型的优点以及变色龙层次聚类对于话题发现准确度较高的优点,将改进预处理后的LDA与变色龙层次聚类算法相结合,提出了一种新的每日话题发现方法PLDA-CHC(Promoted Latent Dirichlet Allocation with Chameleon Hierarchical Clustering),以提高每日话题发现的准确率;并提出了一种新的话题热度计算方法对每日话题进行热度量化。3)对于PLDA-CHC的每日话题发现结果,使用了single-pass增量聚类算法用于时间区间更大的话题发现。最后通过对热点话题热度的分析,绘制了话题热度发展趋势图。实验结果表明,本文提出的热点话题发现方法能够提高热点话题发现的准确性,具有一定的实用价值。

关键词：新闻热点 LDA模型变色龙话题热度 single-pass 发展趋势

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于论坛的热点话题识别与趋势预测研究

基于论坛的热点话题识别与趋势预测研究

作者：张海东上海师范大学

学位级别：硕士

随着互联网的快速发展,论坛成为当前兴起的互联网媒体之一,正是因为论坛的共享性、即时性、交互性等特点,成为大量用户的网络聚集地,因此论坛成为获取信息的主要渠道之一。用户可以发表一个主题来讨论、提出一个问题来解决、针对社会焦... 详细信息

随着互联网的快速发展,论坛成为当前兴起的互联网媒体之一,正是因为论坛的共享性、即时性、交互性等特点,成为大量用户的网络聚集地,因此论坛成为获取信息的主要渠道之一。用户可以发表一个主题来讨论、提出一个问题来解决、针对社会焦点话题提出自己的观点,因此也逐渐成为广大用户共享信息、浏览信息和发表观点的平台。但是论坛每天产生的信息量巨大,传播速度较快,导致形成的话题较多,在这种情况下,怎样快速的浏览当前热点话题,来迅速了解当前社会关注焦点就显得非常有意义。本文首先从论坛数据的采集着手,论坛的网页链接的重复性、分页链接的难以识别、队列与数据库的设计、多线程等问题进行了研究,将提取的文本数据存放在数据库中,作为本文实验的数据来源。其次,在采集的基础上,对热点话题发现进行了研究。针对论坛帖子数据的特殊性和传统的VSM仅用一个向量来描述整个文本信息的不足,本文提出了多向量维度策略,具体思想就是把一篇文本按照时间、地点、人物、事件分为四个子向量,对其四个子向量采用各自的计算方法分别计算相似度值,再对这四个相似度值采用加权平均的方法得出最终的相似度值。最后通过与传统的VSM进行对比,证明了该算法的精确性。在话题检测方面,针对论坛数据是按照时间的顺序进行每天的叠加和更新,本文提出了在时间维度上采用二次聚类的方法来检测话题,具体思想是先对当天同一时间维度上的帖子数据做一次局部聚类形成临时话题集。若没有旧话题集,则将这一次的结果保存等待下一次的聚类;若有旧话题集,则与旧话题集再做一次聚类,重复训练数据,得到最终的话题集合。考虑到single-pass算法无需在动态数据源下提前确定话题的数目,而是根据相似度阈值来自动生成类簇的优点,本文采用的是S ing le-pass聚类。最后通过实验证明了提出的算法思想的合理性。最后,在话题趋势预测上,采用时间序列ARIMA模型来进行拟合,对话题的某些指标进行了预测分析。首先通过介绍ARIMA模型,针对该模型的优点分别给出建模步骤、模型的识别以及参数的估计、检验模型的正确性、利用模型进行预测。通过对时间序列的统计特征进行ADF检验其平稳性,根据自相关和偏自相关函数图确定各自的阶数,最后给出模型,并用残差序列图验证了拟合程度的正确性。通过对比模型产生的预测值与实际值,给出了热点话题在特定的时间内的变化趋势。

关键词：论坛数据采集多向量策略二次聚类 single-pass ARIMA模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于可信度评测的话题发现方法

基于可信度评测的话题发现方法

作者：李兴冠哈尔滨工程大学

学位级别：硕士

凭借创新式的信息生产机制和网络传播机制,微博平台成为社会热点重要的发源地和传播途径,这使得热点话题发现技术不断研究与发展。然而,由于微博的匿名性以及即时性等特征,使得一些人为编造的不可信话题同时在网上流传开来。于是,对于... 详细信息

凭借创新式的信息生产机制和网络传播机制,微博平台成为社会热点重要的发源地和传播途径,这使得热点话题发现技术不断研究与发展。然而,由于微博的匿名性以及即时性等特征,使得一些人为编造的不可信话题同时在网上流传开来。于是,对于微博信息的可信度的研究就显得至关重要,这不仅影响着整个网络的舆论导向,更影响着社会的安定和谐。在以往的可信度研究中,都是基于一些已有的热点话题进行可信度评测,最后验证该话题的置信值与现实情况的对比。然而,一些不可信的话题已经作为网络的热点传播开来,并不能从源头上阻止这些话题的传播。因此,本文结合话题发现的相关方法、微博信息的特征并结合可信度相关的研究提出了一种基于可信度评测的话题发现方法。本文首先提出了可信热点话题的概念,通过对可信热点话题的定义、评测指标,构架了可信热点话题的发现框架。在框架中,主要包括用户可信度评测、微博数据准备、话题提取、可信热点话题获取。在用户可信度评测算法中,本文不仅考虑用户的基本属性对用户可信度的影响,还提出了一种利用相对可信度来分配用户可信度的算法。在微博信息预处理过程中,本文考虑到时间对于一个事件的重要性,把时间作为了文本相似度计算中的一个重要因素。最后本文基于single-pass算法进行了文本向量聚类,把聚类得到的话题,按照可信热点话题评价指标,进行评价得到可信热点话题。最后,本文利用微博平台上的数据对本文中提到的用户可信度评测算法、时间因素对热点话题的影响、可信热点话题的TDT检测指标进行了实验。实验中用户可信度评测算法与传统的PageRank算法作了比较、热点话题时间因素与非热点话题时间因素的比较、用户可信度话题发现算法与SP&HA算法比较,验证了本文提出的基于可信度评测的话题发现方法在话题发现过程中的准确性以及效率。

关键词：微博话题发现可信度 single-pass 可信热点话题

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语境分析的微博热点话题检测研究

基于语境分析的微博热点话题检测研究

作者：胥亚伟江西财经大学

学位级别：硕士

微博客具有多种登录方法、丰富的媒体文本内容和低准入门槛等特点,所以在很短的时间内成为信息分享的社交平台。在使用微博的过程中,微博用户可以用简短的文字、视频、图片,甚至是一个象征性的表达符号,通过电脑、手机或其它设备的方式... 详细信息

微博客具有多种登录方法、丰富的媒体文本内容和低准入门槛等特点,所以在很短的时间内成为信息分享的社交平台。在使用微博的过程中,微博用户可以用简短的文字、视频、图片,甚至是一个象征性的表达符号,通过电脑、手机或其它设备的方式,不拘于时间地点发布自己的见闻和感受。由于微博平台可以使多种媒体内容进行有效融合,同时微博的表达方法自由简单,所以在网络舆论的产生、传播及动态交互中,微博具有推波助澜的作用。在参与网络热议话题过程中,个人很容易迷失在大众的观点和情绪中,难以发挥自我约束机制,从而形成片面的、极端的心理态势。为了营造积极健康的微博舆论环境,高效、快速地检测微博热点话题就显得很有必要。因此,本文从微博的内容出发,结合微博语境,通过聚类的方法,研究发现热点话题。首先,由于微博短文本具有特征量稀疏、冗余量庞大的特点,要对微博短文本进行预处理,所以应对其无关信息进行清楚和整理,比如各种符号表情及停用词。使用向量空间模型对微博短文本进行建模表示,同时结合微博短文本所处的语境,加入其元数据信息方便扩充特征空间,在一定程度上能有效解决微博碎片化、稀疏性的问题。其次,本文对经典算法single-pass进行改进。传统的single-pass增量算法容易受到初始话题聚类中心多样化的影响,导致聚类效果不理想,挖掘不出潜在主题。改进之后的single-pass可有效解决聚类结果偏移的问题,提高聚类的准确度,为热点话题的检测提供技术依据。最后,用实验来检验相关理论是否在原有理论的基础上有提升的地方,同时建立热点话题评估模型,对微博短文本聚类效果进行评估。通过实验,可发现扩充微博的特征空间,以及运用改进后的single-pass算法动态聚类,在准度和精度上均有较大提升,说明本文思想和算法有较高的理论和实际价值。

关键词：微博短文本语境 single-pass 热点话题

基于语义指纹和Simhash的文本去重方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义指纹和Simhash的文本去重方法研究

作者：周汝佳江西财经大学

学位级别：硕士

随着不同类型的信息数据的增加,用户能够获取的信息量不断增多,因此搜索信息过程中投入的成本也随之提高。从信息资源集合中去除重复内容是信息资源管理的一项重要工作,可以提高用户使用信息资源的效率。目前,信息内容去重已经被应用到... 详细信息

随着不同类型的信息数据的增加,用户能够获取的信息量不断增多,因此搜索信息过程中投入的成本也随之提高。从信息资源集合中去除重复内容是信息资源管理的一项重要工作,可以提高用户使用信息资源的效率。目前,信息内容去重已经被应用到各种场景中。在文本去重上,能够借助于内容去重方式对文本内容识别的相似程度进行判断,该方式还能够追踪科技文献类的相似程度,从而判断文章是否为抄袭。为了提高传统文本去重算法准确率、运行速度,本文提出一种基于语义指纹和Simhash的文本去重的算法优化的方法,针对本文选取的新闻类语料,首先进行文本预处理,其次进行文本特征提取。传统的Simhash算法以分词系统识别出的关键词作为特征值,权重为关键词出现的次数。由于权重只由单词的数量决定,一些重要的信息会丢失,从而导致最终计算出的Simhash签名值的准确性下降。为了解决这个问题,在文本特征提取过程中,本文综合利用TF-IDF技术和词语的主题相关度来计算关键词权重。再根据文本特征结合Simhash算法计算得到文章内容的语义指纹,再计算文本对应的语义指纹的海明距离,最终得到这两个文本的语义指纹距离,并结合语义指纹的海明距离判断文本间相似程度,然后整合single-pass快速聚类算法,所得的语义指纹聚类即为文本去重的最终结果,从而实现面向中文文本的快速去重流程。为避免误判,对判定为相似的两个文本使用Shingle算法进行进一步对比。实验证明,该方法与Shingle算法对比具有精确度和鲁棒性方面的优势,同时大数据量文本的去重操作也有运行速度优势。最后本文对该算法模型的接口进行封装,从生活应用场景出发实现一个基于Simhash的文本去重系统,系统的开发技术为Java,选择使用的构件项目的工具为Maven,最终在Linux服务器上进行部署,并通过war包形式在tomcat容器内完成部署。

关键词：语义指纹 Simhash single-pass 文本去重

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

景区突发事件的话题检测研究

景区突发事件的话题检测研究

作者：陈捷北京交通大学

学位级别：硕士

旅游业已逐渐成为国民经济新的增长点,而旅游景区是人口密集区,容易发生各种突发事件,如突发性社会安全事件、自然灾害等,对旅游业产生极大影响,这些影响除了经济、人力、物力等方面的损耗,还有来自网络舆论的压力,突发事件在网络上的... 详细信息

旅游业已逐渐成为国民经济新的增长点,而旅游景区是人口密集区,容易发生各种突发事件,如突发性社会安全事件、自然灾害等,对旅游业产生极大影响,这些影响除了经济、人力、物力等方面的损耗,还有来自网络舆论的压力,突发事件在网络上的迅速传播,一是加大了公众的恐慌,更加不利于突发事件的应急管理,二是对景区的口碑也会产生负面影响。因此,对景区突发事件在网络上的传播进行分析是很有必要的。如果能及时得知突发事件发生后,公众言论的话题走向,就可以迅速采取更有针对性的行动,及时止损。目前关于景区突发事件的网络传播的研究较少,针对旅游突发事件的研究也多从管理角度或社会传播的角度出发,定性分析偏多,定量分析很少。而网络传播的信息实时性强,这类分析不足以支撑实际应用,因此,本文从话题检测的角度,对景区突发事件的网络传播进行研究,为分析景区突发事件的话题变化提供一套适应性比较好的方法流程。主要的研究内容如下:(1)基于LDA主题模型进行景区突发事件话题检测的文本表示。根据景区突发事件的数据特点,以及不同数据来源的特点,通过与TF-IDF算法结合调整权重并对词项过滤,以及Canopy算法初始化K值,对LDA主题模型的输入进行改进,明确了文本表示的流程方法。(2)基于改进的single-pass算法进行景区突发事件话题检测的文本聚类。通过加入时间衰减函数调整文本相似度,以及合理筛选话题代表的方式进一步改进single-pass算法,使其更好地服务于话题检测任务。(3)景区突发事件话题检测的实证研究。通过“九寨沟地震”这一突发事件相关的新闻和微博文本,对景区突发事件的话题检测进行实证研究,对实证结果的实际应用加以讨论。通过对比实验发现,本文提出的景区突发事件话题检测的方法具有较好的效果,和改进前的方法以及常用基线方法对比,都能看出在效果上有一定程度的提升。实证结果表明,应用本文提出的方法得到的景区突发事件的话题结果与实际情况吻合。本文还进一步讨论了景区突发事件话题检测结果在实际中的应用,对于支持旅游管理部门的应急决策具有积极意义。

关键词：景区突发事件话题检测 LDA single-pass

基于Spark的网络舆情分析方法的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的网络舆情分析方法的研究与应用

作者：李丰男中国科学院大学(中国科学院沈阳计算技术研究所)

学位级别：硕士

随着互联网技术的飞速发展,人们日常生活中使用网络的时刻也越来越多,越来越多的人习惯于在网上针对于社会热点、时事新闻发表自己的看法,而互联网作为这样一个自由的虚拟平台,并不意味着它不需要任何管理,及时发现话题热点,遏制不实谣... 详细信息

随着互联网技术的飞速发展,人们日常生活中使用网络的时刻也越来越多,越来越多的人习惯于在网上针对于社会热点、时事新闻发表自己的看法,而互联网作为这样一个自由的虚拟平台,并不意味着它不需要任何管理,及时发现话题热点,遏制不实谣言的传播,引导舆论向正确的方向发展,保证一个良好的互联网环境,是互联网时代政府相关工作人员的新职责。然而面对如此海量的文本数据,如何从中提炼出话题,及时地为之后的管理、引导工作指明方向,正是该项研究工作的第一大难点。本文结合了自然语言处理、机器学习、大数据处理这几种相关技术,致力于解决这一难点问题。本文针对网络舆情分析中的话题检测部分,提出了一种基于多特征融合的single-pass-SOM组合模型的话题检测方法。该话题检测方法分为了两部分,一部分为文本表示,一部分为话题聚类。针对文本表示部分,本文提出了基于时间衰减因子的LDA＆＆word2vec文本表示模型,利用LDA模型提取主题特征,利用word2vec模型提取语义特征,将文本的这两种特征融合在一起,并设计了时间衰减因子,将时间特征也加入其中,从而获取更加全面的文本信息,提高话题检测的精度。针对话题聚类部分,本文提出了single-pass-SOM组合聚类模型,结合了single-pass聚类算法和SOM神经网络的优点,使用single-pass聚类算法作为粗聚类的模型,使用SOM神经网络作为细聚类的模型,提高了话题聚类的准确率和召回率。本文也通过设计一系列对比实验,证明了该话题检测方法的有效性。并且,本文还在提出的话题检测方法中应用了Spark分布式计算框架,采用并行化计算的方式,提高了算法的运行效率。

关键词：网络舆情话题检测 Spark single-pass SOM 文本表示

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多维情景特征分类的个性化推荐方法研究

基于多维情景特征分类的个性化推荐方法研究

作者：刘建涛重庆师范大学

学位级别：硕士

如今网络的互联互通涉及医疗、教育、航空、工业等各行各业,网络上可以爬的数据量、需要存储和分析的数据量都呈指数级增长,公开的数据也越来越多,所以人们面临的信息过载问题也越来越严重,因此推荐系统在各大领域也越来越流行,工业应... 详细信息

如今网络的互联互通涉及医疗、教育、航空、工业等各行各业,网络上可以爬的数据量、需要存储和分析的数据量都呈指数级增长,公开的数据也越来越多,所以人们面临的信息过载问题也越来越严重,因此推荐系统在各大领域也越来越流行,工业应用中对推荐方法的要求也越来越高。目前大多数推荐方法都是基于用户和产品的交互信息,很少加入其他相关信息,而基于多维情景信息的推荐方法会在推荐的过程中考虑多维情景信息对用户未来行为的预测的影响。本文研究的个性化推荐方法动态提取用户和产品的多维情景特征,分析用户对产品的兴趣度和用户与产品、产品与产品、用户与用户的隐藏关系,从而极大地提高用户对推荐结果的满意度和精准营销的有效性。基于此,本文提出了基于多维情景特征分类的个性化推荐算法,本文的主要工作:(1)阅读了大量相关文献,总结了前人的研究成果和不足,对本文研究的算法需要用到的理论基础和关键技术进行了大量的资料查找与总结。本文提出对用户和产品的多维情景特征分类,可以更加快捷地向用户提供更加准确有效的产品推荐列表和为产品提供更加精准的营销对象即是用户列表,并且可以分析出同一情景下用户之间的关联关系以及产品与产品之间的关联关系。(2)对用户和产品的多维情景特征进行聚类,并构建分类模型。利用协同过滤思想构建用户-产品-用户的情景关系网络图。在此基础上构建了多维情景特征分类的用户兴趣度算法,设计了针对用户的个性化推荐方法和针对产品精准营销的推荐方法。(3)进行仿真实验,实验过程先根据实验数据提取了用户和产品的情景特征,使用single-pass聚类思想对用户和产品进行聚类,然后使用了决策树和随机森林对聚类后的用户和产品的情景类别标签训练分类器,实现多维情景特征分类的个性化推荐方法,并对实验结果做了评估、对比、分析,验证了本文推荐算法的有效性。

关键词：多维情景个性化推荐聚类 single-pass 分类