检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

容错存储下重复数据删除优化机制研究

容错存储下重复数据删除优化机制研究

作者：袁贤栋北方工业大学

学位级别：硕士

在如今数据量爆炸增长的时代,重复数据删除技术作为数据缩减技术,能够有效地减少系统存储地冗余数据,提升存储设备的存储效率,使得重复数据删除技术成为一个研究热点。重复数据删除技术通过检测重复的数据块,并且只会存储其中一份,来达... 详细信息

在如今数据量爆炸增长的时代,重复数据删除技术作为数据缩减技术,能够有效地减少系统存储地冗余数据,提升存储设备的存储效率,使得重复数据删除技术成为一个研究热点。重复数据删除技术通过检测重复的数据块,并且只会存储其中一份,来达到数据缩减的目的。数据经重复数据删除写入到存储设备后,其原始的数据顺序性会被破坏,数据碎片化的分布在存储设备中,进而导致了重复数据删除系统的数据恢复性能不佳。虽然当前的研究能够在一定程度上提高数据恢复的性能,但还是存在由数据碎片带来的重复容器读取导致的性能下降问题,和数据布局调整时耗过长导致在密集型备份请求下整体性能表现不佳的问题。同时由于重复数据删除技术只会保留重复数据块的其中一份,使得数据的可靠性降低,通常会使用RAID技术来为重删后的数据提供容错性保护,但为数据作RAID容错性保护在数据写入以及数据恢复阶段会带来额外的时间开销,使得重复数据删除系统的整体性能下降。本文针对重复数据删除系统数据恢复性能不佳的问题,提出了基于虚拟容器技术的重复数据删除架构VCDedup,通过配方信息Recipe来感知数据块在存储设备中的布局,从而来决定数据块的恢复顺序,在根据配方信息Recipe将数据块拼接到指定位置,大大提高了重复数据删除系统的数据恢复性能。在VCDedup进行数据写入时会对数据布局进行调整,获得更佳的局部数据布局顺序性,以减少数据恢复时在磁盘上的I/O次数。为进一步缩减数据布局调整的时耗,提出来基于SSD设备的数据布局调整优化策略,在进行布局调整时仅关注每次写入唯一数据块,并将数据布局调整时的随机I/O从HDD设备转移到SSD设备进一部减少数据布局调整的时耗。本论文还实现了提供容错保护的流水线式重复数据删除架构R-VCDedup,通过将重复数据删除技术数据写入和数据恢复的各个步骤独立为模块,并通过流水线式的组织形式与RAID技术进行结合,使得在对重删后的数据提供容错性保护的同时,系统整体的性能机会不会受到RAID技术带来的额外时间开销的影响。

关键词：存储系统重复数据删除恢复性能数据容错

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

重复数据删除中的无向图遍历分组预测方法

西安交通大学学报 2013年第10期47卷 51-56页

作者：王龙翔张兴军朱国峰朱跃光董小社西安交通大学电子与信息工程学院西安710049

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中... 详细信息

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能。实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10%时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47%提高到87.6%。

关键词：重复数据删除分组预测大规模存储系统

在线全文

学校读者我要写书评

暂无评论

重复数据删除系统元数据存储布局研究

北京理工大学学报 2014年第5期34卷 517-522页

作者：阎芳谭毓安孙志卓刘靖宇北京理工大学计算机学院北京100086 北京物资学院信息学院北京101149

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略.研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删... 详细信息

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略.研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删除时的随机磁盘访问次数.并且没有额外的硬件开销,实现仅在磁盘上存储索引,而不是之前研究中的在磁盘和内存中存储索引.

关键词：重复数据删除元数据存储布局索引结构

在线全文

学校读者我要写书评

暂无评论

面向Ceph的重复数据删除策略研究

面向Ceph的重复数据删除策略研究

作者：蔡可成重庆邮电大学

学位级别：硕士

随着互联网技术的急速发展,人们迎来了大数据时代,数据类型更为复杂,体量更为庞大。大数据不仅为企业带来了多样化的商业价值,同时也为存储行业带来了巨大的挑战。因此,以分布式存储技术为核心的云存储,以效率高、收费低的优势占据存储... 详细信息

随着互联网技术的急速发展,人们迎来了大数据时代,数据类型更为复杂,体量更为庞大。大数据不仅为企业带来了多样化的商业价值,同时也为存储行业带来了巨大的挑战。因此,以分布式存储技术为核心的云存储,以效率高、收费低的优势占据存储市场。但无论是当前主流云存储系统,还是传统的数据存储系统,都无法避免存储大量冗余数据的情况,尤其在归档或备份系统中,冗余数据能占到存储总量的70%,冗余存储极大地提升了存储成本。通过删除重复数据,来提高存储空间的利用率,从而减少硬件成本与能耗十分必要。但传统重复数据删除应用于云存储时,存在两个关键性问题:一是如何在平衡重复数据删除率与系统资源利用率的同时,提高系统整体效率,二是如何有效减少重复数据删除对云存储系统的影响。基于上述问题,论文做了如下工作。1.现有重复数据删除系统过分追求重复数据删除率,导致系统效率低、开销大。针对该问题,提出基于数据相似聚类的重复数据删除机制。该机制利用数据的相似性进行聚类,并根据聚类结果,设计构建了二级索引结构。为了提升数据的检索和比对效率,根据数据间的关联性特征设计了缓存置换算法,进一步提高索引缓存命中率。与其他重复数据删除机制进行实验对比,结果表明所提出的机制在保证较高的重复数据删除率情况下,能够大幅提升系统效率。2.在Ceph分布式存储架构下,重复数据删除不仅会加剧原有OSD的负载不均问题,且会对Ceph的读写性能造成影响,针对该问题,对工作1的机制进一步优化,提出了OSD的负载再均衡策略,该策略综合考虑系统读写的性能来进行数据迁移,从而使得集群整体负载更加均衡,同时通过对重复数据删除读写流程优化,减少对Ceph读写效率的影响。与原生Ceph分布式存储系统的实验比较的结果表明,OSD负载再均衡策略能够有效解决重复数据删除带来的Ceph负载不平衡问题,并提高读写效率。研究工作表明,基于相似聚类的重复数据删除机制与OSD负载再平衡策略,不仅能够有效提高去重效率和空间利用率,而且能大大减少Ceph负载不平衡的情况,具有较好的实用意义。

关键词：重复数据删除 ceph 相似性负载均衡

基于分布式存储的重复数据删除算法研究及系统实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式存储的重复数据删除算法研究及系统实现

作者：郝梦瑶北京邮电大学

学位级别：硕士

随着网络数据的迅速增长,数据中心的存储压力随之剧增。重复数据删除作为一种重要的数据缩减方式,在节约存储空间、降低存储成本方面起到了至关重要的作用。分布式存储系统中的重复数据删除技术因其并行性、支持大数据量、整体吞吐量高... 详细信息

随着网络数据的迅速增长,数据中心的存储压力随之剧增。重复数据删除作为一种重要的数据缩减方式,在节约存储空间、降低存储成本方面起到了至关重要的作用。分布式存储系统中的重复数据删除技术因其并行性、支持大数据量、整体吞吐量高的优势,已经成为分布式存储领域的研究热点。然而,当前在分布式环境下的重复数据删除仍存在一些问题亟待解决。在数据路由阶段,选择一个合适的目标节点的过程引起了较高的计算开销和通信开销。在单节点的重删过程中,由于数据量的不断增多,有限的内存空间无法保存全部的数据指纹,从而导致块查找磁盘瓶颈的问题。因此本文针对上述两个问题,分别提出了一种基于特征感知的相似性有状态路由方法和一种基于历史信息反馈的重复数据删除方法,设计并实现了一个分布式重复数据删除系统。本文的主要研究内容如下:(1)针对数据路由阶段产生较高系统开销的问题,提出了一种基于特征感知的相似性有状态路由方法。该方法通过提取数据特征和数据分布特征,设计了一个特征感知的节点选择策略,降低计算数据相似性的复杂度。另外,该方法还利用超块和手印技术,对数据进行有状态路由,在保证系统高重删率的同时维护系统的负载均衡。(2)针对单节点重删过程产生的块查找磁盘瓶颈问题,提出一种基于历史信息反馈的重复数据删除方法,在内存中设计一个高效的指纹索引结构,来反映数据块在历史重删效果中的影响力。该方法利用汤普森采样算法挖掘数据块的影响力与数据预取之间的关联关系。通过动态预取和缓存的方式提高数据预取精度,从而获得更高的系统重删率。(3)设计并实现了一个分布式重复数据删除系统。系统分为客户端和服务端,实现了文件上传、用户管理、文件管理、数据重删和存储等功能。其中数据重删功能利用提出的数据路由策略和改进的指纹索引结构进行冗余数据检测和消除,从而达到节约存储空间的目的。测试结果显示该系统可以有效进行重复数据删除。

关键词：重复数据删除数据路由磁盘瓶颈特征感知数据预取

面向云存储的高性能重复数据删除技术研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向云存储的高性能重复数据删除技术研究与实现

作者：周鹏华南理工大学

学位级别：硕士

随着云计算和大数据等信息技术的快速发展,现代社会迎来了大数据时代。数据呈爆炸式增长,特别是企业为了数据的安全,将数据周期性的备份到云存储中,产生了海量的重复数据,给云存储厂商造成了巨大的压力。为了消除重复数据降低存储开销,... 详细信息

随着云计算和大数据等信息技术的快速发展,现代社会迎来了大数据时代。数据呈爆炸式增长,特别是企业为了数据的安全,将数据周期性的备份到云存储中,产生了海量的重复数据,给云存储厂商造成了巨大的压力。为了消除重复数据降低存储开销,将重复数据删除技术运用在云存储系统中具有重要意义。本文从云存储数据备份实际需求出发,对重删技术中的关键步骤数据分块和指纹索引进行研究,提出了基于相似性检测的小窗口基于内容的分块算法Ultra FS CDC和基于相似度的段指纹更新策略以及相应的Top-k-Near-p指纹缓存预取方法;进一步设计并实现了基于重复数据删除的备份系统。具体工作如下:1、针对CDC算法分块过程计算开销高,分块长度分布不稳定,抵抗边界漂移能力差,检测低熵字符串能力差的问题,本文提出了Ultra FS CDC算法,Ultra FS CDC拥有较为综合的性能表现,其中速度比state-of-art CDC算法高2-10倍,分块稳定性与Rabin一样,低熵字符检测能力比AE-opt V2高40%但并不会影响分块速度,本文从理论和实验分析验证了算法的有效性。2、优化指纹索引中磁盘访问瓶颈问题,针对BLC算法的较高的磁盘写开销的缺点,本文提出以段的相似度来决定是否更新段标识的策略,同时利用数据段的相似性和空间局部性,设计了Top-k-Near-p的缓存预取方法。实验结果表明,本文所提方法与BLC算法相比,在不产生碎片的情况下降低60%以上的指纹更新开销以及提高15%以上的索引速度。3、设计并实现了一个重删备份系统;为了充分利用多核CPU计算能力,设计了流水线备份工作流,同时为了进一步缓解服务器指纹索引的压力,实现了双端索引的优化方法。最后,对重删备份系统进行功能和性能测试,另外将系统应用于Ceph云存储和云计算平台Open Stack镜像管理的场景中,实验效果表明备份系统能够高效的消除冗余数据,满足企业和个人备份需求;在Open Stack镜像管理系统中,节省了大量的网络带宽,缩减镜像存储空间,可为企业节省一笔可观的费用。

关键词：重复数据删除分块算法重删索引优化指纹缓存与预取备份系统

基于RDE分块算法的面向Spark平台重复数据删除技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RDE分块算法的面向Spark平台重复数据删除技术研究

作者：巢赟华南理工大学

学位级别：硕士

随着大数据技术的发展,生产生活所产生的数据量呈爆炸式增长,无论是个人还是企业,数据存储的成本越发高昂。如何提供有效可靠的数据存储备份服务是一研究热点。重复数据删除是一种用于消除冗余数据、提供可靠存储的技术,广泛应用于大型... 详细信息

随着大数据技术的发展,生产生活所产生的数据量呈爆炸式增长,无论是个人还是企业,数据存储的成本越发高昂。如何提供有效可靠的数据存储备份服务是一研究热点。重复数据删除是一种用于消除冗余数据、提供可靠存储的技术,广泛应用于大型存储系统之中,但也仍存在一些不足:(1)当前基于内容分块算法存在块大小方差过大和吞吐量过低的问题;(2)基于Map Reduce的重复数据删除系统需要大量写磁盘操作,计算迭代效率较低;(3)现阶段基于HDFS的分布式重复数据删除系统并没有考虑HDFS分块与基于内容分块大小不相匹配的问题,导致出现了过多HDFS小文件;(4)采用本地指纹库的分布式重复数据删除系统难以检测节点之间的重复数据,导致系统重复数据删除率较低。针对以上问题,本文提出了快速双极值(Rapid Double Extreme,RDE)分块算法和S-Dedupe重复数据删除系统。首先,针对分块算法块大小方差过大的问题,RDE采用双极值的判断策略,旨在提升算法对低熵字符串的处理能力。然后,针对分块算法吞吐量过低的问题,RDE使用多字节的滑动窗口以控制窗口滑动速度和极值计算粒度。其次,针对基于Map Reduce大量写磁盘操作的问题,S-Dedupe使用Spark框架对重删流程进行并行化和流水线化,目的在于提高计算效率和吞吐量。接着,针对基于HDFS的重复数据删除系统存在过多HDFS小文件问题,S-Dedupe通过块聚合策略减少小文件的产生。最后,针对本地指纹库导致系统重复数据删除率较低的问题,S-Dedupe使用HBase构建分布式指纹库,旨在缓解本地指纹库在分布式环境下对重复数据删除率的影响。实验结果表明,RDE在块大小方差方面取得了显著的提升,在块吞吐量方面也表现优秀。S-Dedupe在吞吐量上相较于常规重复数据删除系统提升达2.26倍,并且在系统重复数据删除率和控制HDFS小文件数量方面也表现出色。

关键词：大数据重复数据删除基于内容分块备份系统分布式文件系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用户感知的重复数据删除算法

软件学报 2015年第10期26卷 2581-2595页

作者：张沪寅周景才陈毅波查文亮武汉大学计算机学院湖北武汉430072 深圳华为技术有限公司IT标准与专利部广东深圳518219 国网湖南省电力公司信息通信公司湖南长沙410000

通过大量的实验分析发现：在云桌面场景下,数据拥有者之间的工作相关度越大,则该用户之间存在重复数据的概率越大.基于该实验结果,提出了用户感知的重复数据删除算法.该算法打破了数据空间局部性特征的限制,实现了以用户为单位的更粗粒... 详细信息

通过大量的实验分析发现：在云桌面场景下,数据拥有者之间的工作相关度越大,则该用户之间存在重复数据的概率越大.基于该实验结果,提出了用户感知的重复数据删除算法.该算法打破了数据空间局部性特征的限制,实现了以用户为单位的更粗粒度的查重计算,可以在不影响重删率的前提下,减少5-10倍常驻内存指纹的数量,并可将每次查重计算的指纹检索范围控制在一个常数范围内,不随数据总量的增加而线性增加,从而有效避免了因为数据总量增加而导致内存不足的问题.除此之外,该算法还能根据存储系统的负载情况自动调整重复指纹检索范围,在性能与重删率之间加以平衡,从而更好地满足主存储场景的需要.原型验证表明,该算法可以很好地解决云计算场景下海量数据的重复数据删除性能问题.与Open Dedup算法相比,当数据指纹总量超出内存可用空间时,该算法可以表现出巨大的优势,减少200%以上的读磁盘操作,响应速度提升3倍以上.

关键词：重复数据删除云计算虚拟桌面云 I/O性能瓶颈数据局部性

在线全文

学校读者我要写书评

暂无评论

一种基于重复数据删除技术的云中云存储系统

计算机研究与发展 2015年第6期52卷 1278-1287页

作者：毛波叶阁焰蓝琰佳张杨松吴素贞厦门大学软件学院福建厦门361005 厦门大学信息科学与技术学院计算机科学系福建厦门361005 高效能服务器和存储技术国家重点实验室(山东海量信息技术研究院) 济南250101

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数... 详细信息

随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.

关键词：云中云重复数据删除数据布局复制纠删码