云计算环境下基于代表点增量层次密度聚类的微博事件检测及跟踪

作     者：冯永 韩楠 贾东风 FENG Yong;HAN Nan;JIA Dongfeng

作者机构：信息物理社会可信服务计算教育部重点实验室(重庆大学)重庆400044 重庆大学计算机学院重庆400044 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2013年第33卷第12期

页      面：3559-3562,3595页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61103114) 国家科技支撑计划项目(2012BAH19F00) 中央高校基本科研业务基金资助项目(106112013CDJZR185502) 重庆市高等教育教学改革研究重点项目(112023) 

主　　题：微博 事件检测 密度聚类算法 云计算 Hadoop平台 代表点 

摘      要：为从微博服务平台产生的大量实时信息中抽取新闻事件,提出了一套完整的云计算环境下的微博事件检测跟踪算法。首先采用新的基于微博转发数和评论数的权值计算方法,将微博文本表示成向量空间模型;再利用基于代表点的增量层次密度聚类(RIHDBSCAN)算法抽取关键词,最终实现新闻事件的检测和跟踪。针对单一节点无法快速高效地处理海量微博数据的问题,将算法部署在云计算平台Hadoop上。通过在新浪微博平台上获取的真实数据进行实验,结果表明,所提出的权值计算方法比TF-IDF和UF-ITUF有更高的性能,并且云框架的使用较好地提高了处理速度,适合用于海量数据的分析和挖掘。