基于Map-Reduce构建高效文本聚类系统

作     者：曾静静 

作者单位：上海交通大学 

学位级别：硕士

导师姓名：李翔;林祥

授予年度：2011年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：文本聚类 Map-Reduce 分布式计算 中文分词 K-means算法 

摘      要：根据《2009年中国互联网舆情分析报告》,在2009年77件影响力较大的社会热点事件中,有23件是通过互联网爆料而引起社会广泛关注的。其中邓玉娇案、上海交通管理部门“钓鱼执法、杭州市飙车案等事件都在社会上造成了极其恶劣的影响。如果互联网缺乏监管,必然会引起反动和黄色信息泛滥,不良的舆论导向混淆视听,从而使得政府丧失公信力,进而威胁到社会的和谐与稳定。而对互联网热点问题进行监控,可以使国家职能机关进行有效的响应,疏导社会舆论压力,进而提升政府公信力,真正使政府做到取信于民,因此有着极为重要的社会价值和现实意义。 在目前应用于互联网舆论情况监控的各种技术当中,文本聚类作为面对海量信息实现知识发现和热点发现的基本方法,无疑占据着非常重要的地位。在当前互联网环境下,数据量之大是令人匪夷所思的。相关报告显示,早在2008年,Google每天需要处理的数据量就达到了20PB,并呈现出快速递增的趋势。面对如此海量的数据,除了提高文本聚类算法精确度和效率之外,设计高效且具有良好可扩展性的分布式处理系统就显得尤为重要。 文章提出了把Map-Reduce这一强大的分布式计算框架应用到文本聚类系统中去,并使用Map-Reduce的开源实现—Hadoop搭建了一个分布式文本聚类系统,最后通过具体试验对该系统进行了性能和聚类准确度上的调优,并验证了该系统在可扩展性上比一般文本聚类系统所拥有的巨大优势。相关的工作为高效文本聚类系统的构建提供了一种新的思路。