检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于模糊聚类的网络论坛热点话题挖掘

大连海事大学学报 2008年第4期34卷 52-54,58页

作者：鲁明羽姚晓娜魏善岭大连海事大学信息科学技术学院辽宁大连116026

为解决单个帖子线索的多话题性问题,识别聚类中的孤立点,提出一种基于模糊聚类的网络论坛(BBS)热点话题挖掘算法.采用模糊聚类进行话题识别,使得一个帖子线索可以隶属于多个话题,而对于隶属度远小于类内平均隶属度的帖子线索,则当作孤... 详细信息

为解决单个帖子线索的多话题性问题,识别聚类中的孤立点,提出一种基于模糊聚类的网络论坛(BBS)热点话题挖掘算法.采用模糊聚类进行话题识别,使得一个帖子线索可以隶属于多个话题,而对于隶属度远小于类内平均隶属度的帖子线索,则当作孤立点来处理.此外,还给出了一种面向BBS文本的特征表示方法,并结合隶属度给出基于模糊划分的话题热度评分公式.实验结果验证了该算法的有效性.

关键词：网络论坛(BBS) 热点话题挖掘模糊聚类帖子线索

基于Hadoop微博热点话题挖掘系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

数据通信 2016年第2期 10-12,54页

作者：杨浩曾兴斌何加铭宁波大学通信技术研究所浙江宁波315211 浙江省移动网应用技术重点实验室浙江宁波315211

为获得微博中的热点话题,本文设计并实现了一个基于Hadoop微博热点话题挖掘系统,包含数据采集、数据预处理、数据存储、热点话题挖掘四个子系统。面对庞大数据量,采用HDFS分布式存储;在TF-IDF算法的基础上做出了改进,本文提出影响度的概... 详细信息

为获得微博中的热点话题,本文设计并实现了一个基于Hadoop微博热点话题挖掘系统,包含数据采集、数据预处理、数据存储、热点话题挖掘四个子系统。面对庞大数据量,采用HDFS分布式存储;在TF-IDF算法的基础上做出了改进,本文提出影响度的概念;针对单节点数据处理的性能瓶颈,对改进后的TF-IDF算法和经典关联规则挖掘算法Apriori进行了Map R educe化设计。实验结果表明,该系统能高效率地采集微博数据,同时能够提取微博热点话题。并且当数据量变大,该系统较单节点有明显时间优势。

关键词： Hadoop 微博热点话题挖掘 Map Reduce TF-IDF Apriori

在线全文

学校读者我要写书评

暂无评论

BBS热点话题挖掘与观点分析

BBS热点话题挖掘与观点分析

作者：姚晓娜大连海事大学

学位级别：硕士

随着互联网的飞速发展,BBS（即网络论坛）已经成为人们自由发表言论,表达民意的重要平台。政府和网管部门需要利用有效的智能技术,对BBS进行舆情监控,以便及时掌握各个时期民众关心的热点话题,并了解民众对这些热点话题的观点和态度,从... 详细信息

随着互联网的飞速发展,BBS（即网络论坛）已经成为人们自由发表言论,表达民意的重要平台。政府和网管部门需要利用有效的智能技术,对BBS进行舆情监控,以便及时掌握各个时期民众关心的热点话题,并了解民众对这些热点话题的观点和态度,从而做出正确、科学的决策。本文的主要研究内容如下: （1） BBS信息的自动抽取:为了实现对BBS网页的自动采集和信息抽取,本文采用HTML Parser包和正则表达式对HTML类型的BBS网页进行解析,从中抽取BBS帖子线索的各项信息,并将抽取结果存入XML文件中。（2）面向BBS文本的特征选择及权重计算:BBS文本的语言和结构与传统的文本有所不同,有着自己的特点。本文选取词条的出现次数、出现位置、词长以及包含该词条的帖子数目等四个因子来评估特征项,并用综合评估函数代替了TF-IDF公式中的TF项,来计算特征项在向量空间模型中的权重。（3） BBS热点话题挖掘:话题识别是热点话题挖掘的一个关键步骤,本文分别采用Single-Pass、K-Means以及K-Medoids聚类算法进行话题识别,在实际应用时根据原算法存在的缺陷做了相应改进,并给出实验结果及其分析。在话题识别的基础上,综合话题的线索数、精华线索数、回复数、单位时间浏览数等信息,对话题进行热度评分。（4） BBS帖子线索的观点分析:本文将帖子线索的特征项作为观点的评价对象,结合极性词词典和依存句法分析技术,采用了SBV（主谓关系）极性传递算法对BBS中的观点句进行观点分析。针对主谓关系和动宾关系之间存在连动关系的观点句,对SBV极性传递算法做了补充。在句子观点分析的基础上,对整个BBS帖子线索进行观点分析。最后,通过实验验证了观点分析算法的有效性。

关键词：热点话题挖掘观点分析 Web文本挖掘文本聚类依存句法分析

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于微博的热点话题发现

基于微博的热点话题发现

作者：朱颖西南大学

学位级别：硕士

随着网络信息技术的发展,互联网数据及资源大幅增加,并呈现出海量特性。为了有效地管理和利用这些海量分布的信息,基于内容的信息检索和数据挖掘近年逐渐成为倍受关注的领域。其中,基于语义的文本主题分析在近年来成为信息检索和文本挖... 详细信息

随着网络信息技术的发展,互联网数据及资源大幅增加,并呈现出海量特性。为了有效地管理和利用这些海量分布的信息,基于内容的信息检索和数据挖掘近年逐渐成为倍受关注的领域。其中,基于语义的文本主题分析在近年来成为信息检索和文本挖掘的热点研究方向,其主要任务是根据文本中已知的“文档-单词”分布生成“文档-主题”和“主题-单词”两个分布,从而提取出文档中隐含的主题信息。主题分析模型在文本分类聚类、信息组织与管理、热点话题挖掘等领域都有着广泛的应用。近年来,随着Web2.0的兴起,社会网络,比如人人网、Facebook、Twitter、新浪微博等非常流行,逐渐成为人与人联系的重要方式。社交网络中80%以上的数据为自然语言文本,海量的用户产生数据（UGC）,充斥着网络空间。为了使用户能更快捷,更方便地了解热门话题并参与到当前话题的讨论之中,对微博热点话题的挖据显得非常重要。但是因为社会网络中的文本有其自身的特点,传统的针对长文本的主题分析模型并不能取得很好的效果。社会网络中的文本有几个显著特点：高维性、稀疏性、不规范性、主题分布不均。换言之,微博中每分钟都会有大量的消息文本产生,这些消息文本很可能产生上万维的向量,这对于主题分析模型来说太耗时,导致效率低下;而对于长文本来说,它的关键词少,特征稀疏,很难抽取有效特征,更难以挖掘特征相互之间的关联性;用语不规范和流行语多,是网络文本的最大特点,也为这类主题挖掘带来了诸多难点;另外,发布的消息主题类型完全依赖于用户自己的兴趣,在微博中,绝大多数消息都是关于日常生活的,比如天气,心情等,因此仅仅根据单词出现的次数来判断其是否为热点话题相关的单词的做法不足可取。用传统的主题分析方法对微博中的文本进行热点话题挖掘,一方面识别不出热点话题相关的信息,会导致准确率较低：另一方面,文本太多,使得主题分析效率很低。近年来,有很多针对微博中热点话题挖掘进行的研究。鉴于微博中文本存在的特点及针对该文本进行热点话题挖掘所存在的问题,本文首先对,利用外部数据集进行了深入地探讨;另外,利用微博中自身属性也是一个研究方向,微博中的属性包括发布时间,标签,转发数和评论数等,这些属性对于热点话题挖掘非常有用,本文探讨了如何对此加以利用,提高热点话题的预测准确率。本论文的贡献如下： 1)根据基于实体的相似性算法将每个用户所发布的相似消息合并为一个文档,增加文档信息;然后将多个外部数据集作为知识背景,用LDA （Latent Dirichlet Allocation）模型对数据集进行热点话题挖掘。 2)提出一个新的主题分析模型MA-LDA （Multi-Attribute Latent Dirichlet Allocation）,这个模型将文本中单词的时间分布和标签结合到LDA模型之中。通过时间变量来判断当前分析的单词属于热点话题,还是一般话题;通过增加标签词汇的权重,使得实验结果中标签词汇排名更靠前,提高了结果的表达性。实验结果表明,本文提出的方法既提高了热点话题挖掘的准确率,也显著地提高了主题分析模型的效率。

关键词：热点话题挖掘主题分析潜在语义分析分类

基于EM-LDA综合模型的电商微博热点话题发现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

现代图书情报技术 2015年第11期 33-40页

作者：伍万坤吴清烈顾锦江东南大学经济管理学院南京211189 江苏经贸职业技术学院信息技术学院南京211168

【目的】在社交营销环境下,准确且有效地挖掘电商微博中的热点话题。【方法】提出一种综合模型EM-LDA对电商微博文本数据进行主题挖掘。EM-LDA综合模型包含两个子模型:ET-LDA模型和IT-LDA模型,前者对含有哈希标签的微博进行主题挖掘,后... 详细信息

【目的】在社交营销环境下,准确且有效地挖掘电商微博中的热点话题。【方法】提出一种综合模型EM-LDA对电商微博文本数据进行主题挖掘。EM-LDA综合模型包含两个子模型:ET-LDA模型和IT-LDA模型,前者对含有哈希标签的微博进行主题挖掘,后者对不含有哈希标签的微博进行主题挖掘。【结果】在确定合适的主题个数之后,标准LDA模型和EM-LDA综合模型均被用来挖掘电商微博文本数据的热点话题,与标准LDA模型相比,EM-LDA综合模型的热词挖掘准确率和有效性均较高,且能提高主题可解释性。【局限】在ET-LDA模型中,未考虑微博联系人之间的关联关系,即模型中未引入用户特征;在IT-LDA模型中没有考虑如何处理那些既是转发式又是对话式的电商微博。【结论】EM-LDA综合模型根据数据的特点,改进了标准LDA模型,能够提升电商微博热点话题识别的准确性。

关键词：电商微博热点话题挖掘哈希标签EM-LDA

在线全文

学校读者我要写书评

暂无评论

网络短文本话题发现与趋势预测研究

网络短文本话题发现与趋势预测研究

作者：王来涛北京工业大学

学位级别：硕士

随着Web2.0技术的发展，互联网用户不再只是简单的信息获取者，而同时成为信息制造者。社交媒体的快速发展，加速了用户的这种身份转变，并形成了自媒体社交群体。由于社交媒体方便、实时的特点，用户制造的信息以短文本为主，并且其数... 详细信息

随着Web2.0技术的发展，互联网用户不再只是简单的信息获取者，而同时成为信息制造者。社交媒体的快速发展，加速了用户的这种身份转变，并形成了自媒体社交群体。由于社交媒体方便、实时的特点，用户制造的信息以短文本为主，并且其数量达到了十亿级以上。随着信息的急剧增长，用户的需求从最初的获取大量信息，变成对信息进行有效的筛选和整合。针对此需求，本文研究并实现了一个短文本话题挖掘系统，首先，在对网络短文本进行预处理的基础上，利用聚类分析技术将相似话题的文本聚类到一个话题簇中。然后，基于提出的话题挖掘模型，实现了网络短文本热点话题发现和趋势预测。经过对网络短文本的聚类分析和话题挖掘，复杂无序的文本整合为完整的话题描述呈现给用户。本文主要工作和创新点如下：首先，研究并实现了一种短文本语义距离计算方法。该方法考虑到短文本的词语和词语结构对文本的语义表达的影响，将语义距离看作是单元语义距离和形式距离的综合。首先，以词为单位，利用《同义词词林扩展版》进行语义扩展，计算短文本的形式距离。其次，基于短文本中的实义单元和非实义单元的不同作用，利用改进的编辑距离算法计算短文本的单元语义距离。最后，利用加权的方法将形式距离和单元语义距离综合为语义距离，并将其应用于网络短文本聚类分析。实验结果表明，改进算法优于传统方法，聚类性能显著提升。其次，本文提出了一种基于文本实义词长度的短文本距离惩罚算法。利用实义词长度对文本距离进行惩罚，以缓解短文本长度差异所造成的计算误差。并根据Zipf s La’w和Heaps Law的对价关系，给出了一种文本中实义词长度的估计方法，提炼出对文本长度进行惩罚的量化依据。实验结果证明，基于实义词长度的短文本距离惩罚算法要优于基于短文本词语长度的惩罚算法。最后，对聚类分析得到的话题簇进行话题挖掘，话题挖掘包括话题发现和趋势预测。话题发现通过分析话题簇中的短文本，得到话题簇的话题描述;趋势预测是基于话题发现得到的话题描述，分析话题的发展趋势，对话题的发展进行预测。本文分析了用户的话题关注模式，建立用户关注模型，发现用户的话题关注模型对话题的发展趋势具有一定的预测能力。此外，本文基于TREC2011微博检索任务提供的Tweets2011语料集，整理tweet信息，并建立了Tweets2011数据库。首先保存了原语料集中每个字段的原始信息，然后根据tweet中的话题标签将语料集进行分类，得到了可以用于短文本分类语料集。最后根据tweet中存在的用户间信息流动关系，建立了可以用于社交网络研究的tweet信息流动表。通过提供公开的数据库，可为相关领域的研究者提供格式规范、信息丰富的研究数据，提高了其研究效率。

关键词：短文本处理语义聚类热点话题挖掘趋势预测

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

博客资源数据挖掘研究现状

电脑知识与技术 2013年第4X期9卷 2771-2773页

作者：王洪福李怀龙张家年淮北师范大学教育学院安徽淮北235000

目前中国有3.73亿网民拥有博客,博客网站上已经存在海量的信息。对这些博客资源进行挖掘,可以获得有价值的信息。博客资源挖掘是Web数据挖掘的一种具体应用。探讨了国内外学者对博客资源进行数据挖掘的已有成果、各种方法与技术,涉及到... 详细信息

目前中国有3.73亿网民拥有博客,博客网站上已经存在海量的信息。对这些博客资源进行挖掘,可以获得有价值的信息。博客资源挖掘是Web数据挖掘的一种具体应用。探讨了国内外学者对博客资源进行数据挖掘的已有成果、各种方法与技术,涉及到博客网页的识别、博客传播特征、语义博客系统、博客之间的链接与交互、博客作者信息挖掘、博客主题挖掘、博客分类与聚类算法等。热点话题挖掘是博客数据挖掘的一种具体形式,也介绍了博客热点话题挖掘的方法与技术。

关键词：博客 Blog Web 数据挖掘算法热点话题挖掘现状