云网关上重复数据删除的设计与实现

作     者：周旋 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：曾令仿

授予年度：2013年

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：云存储 云网关 高冗余 数据分离 重复数据删除 

摘      要：随着信息时代的发展，海量数据的存储传输成为目前必须解决的一个重要问题。云存储为海量数据的存储提供了很好的解决方案，但是缺乏标准化的云存储应用程序编程接口，极大的限制了云存储的应用。 缺乏标准化的云存储应用程序编程接口使云网关成为云存储必不可少的重要组成部分，云网关已经成为应用和云提供商应用程序编程接口之间协议的翻译，但是由于云网关很少支持企业级的其它服务，限制了它的应用范围，目前大部分被用于归档和备份。云网关的问题在于它增加了云存储的复杂性及限制了云存储的性能，所以从性能及简洁性角度来看，它并不适合作为理想的主要应用。 针对备份归档文件中的高冗余问题，云网关上设计实现重复数据删除功能，能为云网关与云平台间的通信减少网络带宽同时减小数据在云平台上的存储容量。云网关上的重复数据删除功能的设计与实现主要包括在云网关上对文件分块，将分块文件计算数据指纹，将数据指纹与哈希表中指纹进行比对，丢弃重复数据，将文件信息和非重复的数据分离独立保存在Swift云平台上。 通过与不进行重复数据删除的云网关性能对比表明，在云网关上进行重复数据删除对于高冗余数据能够减少76%1%的重复数据存储容量，节省了70%6%的网络带宽，提高了云网关的性能，且对云网关的响应开销影响较小。