基于Hadoop的分布式哈希算法实现

作     者：仇李寅 邱卫东 苏芊 廖凌 

作者机构：上海交通大学信息安全工程学院上海200240 上海交通大学资产管理处上海200240 

出 版 物：《信息安全与通信保密》 (Information Security and Communications Privacy)

年 卷 期：2011年第9卷第11期

页      面：54-56页

学科分类：07[理学] 08[工学] 070104[理学-应用数学] 0701[理学-数学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

主　　题：Hadoop MapReduce 云计算 密钥恢复 

摘      要：互联网的发展使得计算密集型的任务正在逐渐走向分布式和云计算。文中对Hadoop项目中的MapReduce和HDFS进行了研究,采用HDFS作为底层分布式文件系统,MapReduce作为编程框架来实现哈希算法。通过对多个节点中的测试结果的分析表明,在Hadoop上运行哈希函数的任务,能够起到在多台计算机的群集中分摊负载的效果,并且有效地减少了任务的总时间开销。以Hadoop为基础的云计算平台具有良好的可靠性和可扩展性,对于哈希算法在Hadoop平台上的实现和测试,为将来密钥恢复等系统的研究和搭建提供了良好的基础。