检索结果-南通市图书馆

dCACH: Content Aware Clustered and Hierarchical Distributed Deduplication

Journal of Software Engineering and Applications 2019年第11期12卷 460-490页

作者： girum dagnaw Ke Zhou Hua Wang Huazhong University of Science and Technology Wuhan National Laboratory for Optoelectronics Wuhan China

In deduplication, index-lookup disk bottleneck is a major obstacle which limits the throughput of backup processes. One way to minimize the effect of this issue and boost speed is to use very high course-grained chunks for deduplication at a cost of low storage saving and limited scalability. Another way is to distribute the deduplication process among multiple nodes but this approach introduces storage node island effect and also incurs high communication cost. In this paper, we explore dCACH, a content-aware clustered and hierarchical deduplication system, which implements a hybrid of inline course grained and offline fine-grained distributed deduplication where routing decisions are made for a set of files instead of single files. It utilizes bloom filters for detecting similarity between a data stream and previous data streams and performs stateful routing which solves the storage node island problem. Moreover, it exploits the negligibly small amount of content shared among chunks from different file types to create groups of files and deduplicate each group in their own fingerprint index space. It implements hierarchical deduplication to reduce the size of fingerprint indexes at the global level, where only files and big sized segments are deduplicated. Locality is created and exploited first using the big sized segments deduplicated at the global level and second by routing a set of consecutive files together to one storage node. Furthermore, the use of bloom filter for similarity detection between streams has low communication and computation cost while it enables to achieve duplicate elimination performance comparable to single node deduplication. dCACH is evaluated using a prototype deployed on a server environment distributed over four separate machines. It is shown to have 10× the speed of Extreme_Binn with a minimal communication overhead, while its duplicate elimination effectiveness is on a par with a single node deduplication system.

关键词： Clustered Deduplication Content Aware Grouping Hierarchical Deduplication Stateful Routing Similarity Bloom Filters

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

云备份系统中闪存辅助分段式布隆过滤器的研究

云备份系统中闪存辅助分段式布隆过滤器的研究

引用

作者：吉音（girum dagnaw Dubale）华中科技大学

学位级别：硕士

为了能够在网络带宽较低或中等的区域实现云备份应用，网络上传输的数据量应越低越好，通过对备份数据使用重复数据删除技术，能够显著降低网络传输数据量。重复数据删除的方法很多，其中一个解决方案是将文件切分成比较小的片段，这需... 详细信息

为了能够在网络带宽较低或中等的区域实现云备份应用，网络上传输的数据量应越低越好，通过对备份数据使用重复数据删除技术，能够显著降低网络传输数据量。重复数据删除的方法很多，其中一个解决方案是将文件切分成比较小的片段，这需要使用到大布隆过滤器。在空间/时间效率方面，布隆过滤器相比其他数据结构具有明显的优势。但布隆过滤器在哈希函数个数增加或者它装载的元素个数增加时，误判率会有升高的趋势。由于云备份系统重复数据删除将产生大量指纹，若布隆过滤器的长度较小则会产生较高的误判率，长度增大则会增加内存消耗。针对如何降低内存消耗，提高重复数据删除的整体性能，本文提出了一种闪存辅助分段式的布隆过滤器（FASBF）方法，即在大规模云备份系统中将布隆过滤器部署在SSD上。由于SSD没有机械磁头，因此其读速度很快;而分段式的布隆过滤器则可以方便划分存储空间。在本文的方法中，布隆过滤器全部保存在SSD中，只有部分保存在RAM中。保存在RAM中的部分布隆过滤器的大小决定了整个应用的RAM空间消耗。当部分分段式布隆过滤器阵列（PSBFA）大小占整个分段式布隆过滤器阵列（FSBFA）大小的一半时，应用的内存消耗就减少为原来的一半。本文使用三种方法优化了重复数据删除的数据检索过程：首先布隆过滤器的长度可以充分大，其次可以使用更多的哈希函数来减少误判率，最后由于布隆过滤器占用的内存空间减少，内存中可以缓存更多的指纹，这将极大地减少由误判率导致的磁盘I/O开销。为了最大化利用SSD，文件和数据块的指纹哈希桶（在初始状态时）部分被保存在SSD上，而随着布隆过滤器的增大，SSD上分配给指纹哈希桶的空间将逐渐减少，这时将会把哈希桶保存到磁盘上。本文基于一个云备份系统，对FASBF方法进行了原型实现及性能测试。结果表明本方法能够节省可观的内存空间，同时又能达到100MB/S左右的备份吞吐率。

关键词：分段式布隆过滤器固态盘云备份

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：