检索结果-南通市图书馆

检索条件"主题词=文件重复局部性"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

面向文件级重复数据删除的稀疏索引技术

面向文件级重复数据删除的稀疏索引技术

引用

作者：尚颖丹国防科学技术大学

学位级别：硕士

重复数据删除技术是近几年来存储领域的研究热点，在提高存储利用率、减少数据传输带宽占用量方面表现优异，近几年来广泛应用在数据备份系统、归档存储系统、远程灾备等系统中。多数大规模数据中心中存在大量重复的数据，极大的浪费了... 详细信息

重复数据删除技术是近几年来存储领域的研究热点，在提高存储利用率、减少数据传输带宽占用量方面表现优异，近几年来广泛应用在数据备份系统、归档存储系统、远程灾备等系统中。多数大规模数据中心中存在大量重复的数据，极大的浪费了存储资源及能耗。云计算数据中心中存在大量虚拟机映像文件，这些虚拟机映像文件中存在大量的重复数据。删除其中的重复数据不仅可以节省磁盘空间，也能减少虚拟机映像文件传输时占用的带宽，提高虚拟机映像文件的访问及分发速度。重复数据删除中普遍存在的磁盘访问瓶颈问题制约了系统的性能，现有解决磁盘瓶颈问题的方法主要包括Data Domain提出的基于bloom filters、SISL和局部性保持，稀疏索引及Extreme Binning的解决方案。已有解决方案通常利用数据访问的局部性来减少内存中索引数量，减少每个索引查找时的磁盘I/O次数。这些研究方案在基于文件的更大粒度的重复数据删除下并不适用，均无法达到解决重复数据删除中的磁盘访问瓶颈问题。本文首先针对云计算中大量虚拟机映像文件下基于文件的重复数据删除中存在的磁盘访问瓶颈问题，提出了一种基于随机抽样的重复数据删除方法。内存中的索引不是全部的文件索引而是从全部文件索引中进行随机抽样出的部分样本索引，从而减少内存中索引的总数量。在文件索引的重复检测时利用虚拟机映像文件重复的局部性特征利用部分文件索引在内存中命中的情况推断目录中其他文件索引的命中情况。使得目录中每个文件索引的重复检测工作无需多次访问磁盘。通过设计实现一般情况下和随机抽样下的重复数据删除算法，对比随机抽样重复数据删除效果可知，当内存无法放置整个索引表的情况时，随机抽样的重复数据删除下内存稀疏索引数为原有索引数的1/10，不仅保证了可观的重复数据删除比例，同时减少了大量的磁盘访问量，解决了当内存无法放置整个索引表时检测性能急剧下降的问题，提高了重复数据删除系统的性能。针对基于文件的重复数据检测中索引容量瓶颈的问题，为提高稀疏索引下重复数据删除比例，进一步提出了基于分组目录的重复数据删除方式。首先对虚拟机映像文件的树结构进行相近粒度的划分为分组目录，对分组目录采用随机抽样及基于Broder理论的抽样方法，利用分组目录的样本文件索引建立内存的稀疏索引，在分组目录的基础上实现了重复数据删除方案。实现方案并利用实验数据检验并验证了虚拟机映像文件重复的局部性。针对不同抽样比例因子对比了重复数据删除效果，结果表明，当抽样内存索引数为原有的1/10时，利用虚拟机映像文件重复固有的局部性特征实现的基于分组目录的稀疏索引能够达到96%以上的重复数据删除比例，减少了内存索引数量，很好的避免了磁盘访问瓶颈问题。实验分析分组目录抽样中随机抽样及基于Broder理论的抽样方法下的重复数据删除比例，通过设定不同分组目录划分大小分析基于分组目录的重复数据删除比例的影响因子。最后根据实验结果对比基于分组目录稀疏索引和基于随机抽样的稀疏索引下的重复数据删除效果。针对集中式重复数据删除系统有限的可扩展性提出了分布式环境下的重复数据删方案，实现了重复数据删除过程的分布并行化，数据的分布式存储，设计简单的路由算法从而使得多个数据节点间的独立自治。提出了简单易行的数据迁移策略，并分析分布式环境下重复数据删除方案的特点、可实施性及对整体系统性能的影响。避免分布式环境下数据节点间相互通信带来的负面影响，实现数据节点间的独立自治，达到重复数据删除过程的分布并行化目的。

关键词：重复数据删除技术稀疏索引虚拟机映像文件文件重复局部性

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：