一种基于MapReduce的知识聚类与统计机制

作     者：徐小龙 李永萍 XU Xiaolong;LI Yongping

作者机构：南京邮电大学计算机学院南京210003 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2016年第38卷第1期

页      面：202-208页

核心收录：

学科分类：0808[工学-电气工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61202004 61472192) 教育部科技发展中心网络时代的科技论文快速共享专项研究(2013116) 江苏省高校自然科学研究计划(14KJB520014)~~ 

主　　题：数据挖掘 聚类 知识 共现矩阵 统计 Map Reduce 

摘      要：网络文献知识库中的海量资源及其分类的粗粒度,导致学习者容易在文献检索和阅读过程出现认知迷航和知识过载问题。该文提出一种基于Map Reduce的知识聚类与统计机制:首先,提出基于Map Reduce的共现矩阵构建算法MR-Co Matrix;其次,将共现矩阵与相似度系数结合构建相似度矩阵;然后,通过Z Scores对相似度矩阵进行标准化;最后,使用离差平方和法(Ward,s method)对相似度矩阵进行聚类,生成树状的知识聚类谱系图;基于聚类结果,提出基于Map Reduce的知识文献统计算法MR-Statistics,对每个分类的知识属性进行统计。实验结果表明:将MR-Co Matrix和MR-Statistics方法应用于网络文献知识库进行知识聚类和统计,达到较理想的聚类精度和计算效率,实现了细粒度知识聚类和多维统计,同时减少了时间开销。