检索结果-南通市图书馆

计算机工程 2010年第8期36卷 69-70,73页

作者：孙继忠马永强李玉华西南交通大学信息科学与技术学院成都610031

针对基于内容的数据分块算法中基本滑动窗口算法不能确定最大数据块的问题,提出一种基于字节指纹极值特征的数据分块算法。算法以上一个块边界点为起点构建最大块长区间,通过定义字节指纹极值域半径函数F并利用函数F值的分布特性,以概率... 详细信息

针对基于内容的数据分块算法中基本滑动窗口算法不能确定最大数据块的问题,提出一种基于字节指纹极值特征的数据分块算法。算法以上一个块边界点为起点构建最大块长区间,通过定义字节指纹极值域半径函数F并利用函数F值的分布特性,以概率1在允许的最大块长的区间内确定下一个块边界点。该算法克服了基本滑动窗口等分块算法不能确定最大分块长度的不足,其时间复杂度为O(n)。

关键词：数据分块算法哈希指纹存储算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

数据分块算法在定位差异数据时的作用分析

引用

计算机技术与发展 2023年第10期33卷 22-27页

作者：黄文豪齐德昱谢嵘刘宇张皓同广东外语外贸大学南国商学院数字化技术研究院广东广州510545 华南理工大学计算机科学与工程学院广东广州510641

差异数据定位在数据增量同步等领域得到了很好的应用。当下学者们将数据分块算法应用在差异数据定位中,提出了很多优秀的数据分块算法,并对各自算法的效率进行了论述和实验,但并没有从理论上论述数据分块算法在差异数据定位中的正确性... 详细信息

差异数据定位在数据增量同步等领域得到了很好的应用。当下学者们将数据分块算法应用在差异数据定位中,提出了很多优秀的数据分块算法,并对各自算法的效率进行了论述和实验,但并没有从理论上论述数据分块算法在差异数据定位中的正确性。此外,定位到的差异数据的大小与数据分块算法的关系也没有进行理论分析,多是以实验结果来辅助说明。为此,文中对数据差异定位的过程进行抽象,对数据分块算法应用于该过程的正确性进行了论证,并对数据分块算法在数据差异定位中的作用进行分析。通过理论推导的方式,证明了数据分块算法在定位差异数据时的正确性,同时得出差异数据的大小与数据分块算法的关系。文中结论对设计应用于差异数据定位的数据分块算法有一定的参考意义。

关键词：数据分块算法差异数据定位理论分析数据增量同步逻辑推理

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向云存储的文件块去冗策略研究

面向云存储的文件块去冗策略研究

引用

作者：朱治民苏州大学

学位级别：硕士

在这个飞速发展的信息时代,数据呈现爆炸式增长,如何保持数据的高效存储成为了现代信息技术发展的重要论题。同时,在数据的存储过程中,往往伴随着大量的重复数据,这些重复数据不仅消耗了巨额的存储空间,而且导致了云存储系统的存储效率... 详细信息

在这个飞速发展的信息时代,数据呈现爆炸式增长,如何保持数据的高效存储成为了现代信息技术发展的重要论题。同时,在数据的存储过程中,往往伴随着大量的重复数据,这些重复数据不仅消耗了巨额的存储空间,而且导致了云存储系统的存储效率和网络带宽利用率的下降。针对此问题,引入重复数据删除技术进行研究与解决。它可以有效地对存储系统进行优化,使得存储在整个云端服务器中的文件保持在一个可接受的数量,并且提高数据在网络传输中的效率。本文以云存储下的重复数据删除技术为主要研究工作,其中贡献与创新如下:首先,针对基于内容的数据分块算法中去重速度和去重率低下的问题,提出了一种基于内容的快速均衡分块算法。该算法在选择了更快的Gear哈希作为滚动哈希算法的基础上,对其取值表进行重新赋值得到Gear-V算法,有效提升了算法运行速度。同时,针对选择Gear哈希带来的滑动窗口过小的问题,采取了在哈希判断时扩大其窗口值来达到提高运行速度的目的,并且加入特殊符号作为新增的判断条件,得到更高的去重率。最后,重新选取最小分块阈值以得到更高的去重率。实验证明,基于内容的快速均衡分块算法相较于传统分块算法,在保证运行效率的情况下有着更高的重复数据删除率。然后,针对重复数据删除技术在云存储系统中出现的无法充分利用存储服务器和计算性能的问题,提出了一种基于文件块相似性的分布式重复数据删除方案。该方案包含两个关键部分,分别为文件分块策略和文件块路由策略。前者将文件分割后重新组织成文件块,后者将组织好的文件块分发到路由策略所选择的目标服务器中实现多服务器并行去重。通过多节点模拟实验对比,基于文件块相似性的分布式重复数据删除方案解决了资源利用率低的问题且有着较好的相对重复数据删除率,吞吐量,重复数据删除性能。最后,在前两个研究工作的基础上加入文件共享安全,设计并实现了一个云存储文件安全重复数据删除系统。系统包括五个功能模块,分别为用户注册模块,用户登录模块,文件上传及近似重复率检测模块,文件检索模块和文件共享模块。系统通过了功能测试,基本实现所有应完成的功能,达到预期。

关键词：云存储滚动哈希算法数据分块算法重复数据删除技术数据安全共享

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

广域网重复数据消除方法的研究与实现

广域网重复数据消除方法的研究与实现

引用

作者：徐照南京邮电大学

学位级别：硕士

随着信息化程度的不断提高，企业的分支机构之间的数据通信需求急剧增长，尤其近年来，随着数据量的增大，有限的广域网带宽已不能满足企业级用户的数据传输需求。针对WAN带宽不足、时延过长等问题，探讨了广域网数据传输中，采用重复... 详细信息

随着信息化程度的不断提高，企业的分支机构之间的数据通信需求急剧增长，尤其近年来，随着数据量的增大，有限的广域网带宽已不能满足企业级用户的数据传输需求。针对WAN带宽不足、时延过长等问题，探讨了广域网数据传输中，采用重复数据消除技术对传输数据进行优化，以减少带宽占用，提高数据传输效率。论文的主要任务是研究重复数据消除技术，并应用于广域网数据优化中，设计并实现了广域网重复数据消除方法。重点研究了数据分块算法，在基于内容的变长分块算法（CDC,Content Defined Chunking）的基础上结合滑动块检测技术，运用并行过滤的思想筛选出数据集中的高度冗余数据进行二次分块，从而，在相同的检测粒度下，实现更高的重复数据缩减率。针对处理数据量增大后，元数据字典无法全部驻留在内存中的问题，设计内存数据字典和磁盘数据字典两级存储结构，并采用多级检索机制提高检索效率。最后，设计并实现了数据字典的同步机制和重复数据编解码方法。实验结果表明，对于存在潜在关联的数据集，广域网重复数据消除系统可以提供10：1甚至更高的压缩比，从而节省60%至90%的网络带宽。将重复数据消除技术应用于广域网数据优化系统中，能够有效降低带宽占用量，进而提高广域网数据传输效率。

关键词：重复数据消除广域网数据优化数据分块算法字典同步

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于FastDFS的重复数据管理技术的研究与实现

基于FastDFS的重复数据管理技术的研究与实现

引用

作者：张蛟电子科技大学

学位级别：硕士

随着计算机技术的飞速发展,带来的是数字信息量的爆炸式增长,尤其是在云存储系统中,其数据量甚至达到PB级的规模。面对如此庞大的数据量,研究如何有效地发现和消除系统中的重复数据变得尤为重要。数据分块算法能够快速高效地检测出文件... 详细信息

随着计算机技术的飞速发展,带来的是数字信息量的爆炸式增长,尤其是在云存储系统中,其数据量甚至达到PB级的规模。面对如此庞大的数据量,研究如何有效地发现和消除系统中的重复数据变得尤为重要。数据分块算法能够快速高效地检测出文件之间的重复数据,是相同数据检测技术的核心。针对现有的数据分块算法分块边界不确定导致数据分块过大和容易产生数据碎片的缺点,立足于消除系统中的硬分块,平衡提高分块算法的消重率和降低分块算法的时间消耗之间的矛盾,论文提出了基于预分块的滑动窗口分块算法SWCDC。SWCDC对文件内容没有发生变化的区域采用较大的分块预期值进行分块,而对文件内容发生变化的区域采用较小的分块预期值进行分块。通过区分对待数据变动区域和非变动区域,SWCDC特别适用于对重复数据较多的系统进行重复数据管理。另外,在SWCDC的基础上,为了降低数据分块的元数据开销,提出了基于合并的滑动窗口分块算法ISWFDC。实验结果表明,SWCDC和ISWFDC算法可以比传统的分块算法获得更高的消重性能。针对现有的布隆过滤器在数据块指纹集较大时查询速度较慢,不能很好地适应云存储环境下数据块指纹集的动态增长这一问题,论文提出了动态布隆过滤器矩阵集合DBFMS。DBFMS通过将数据块指纹集表示为s个t?m的位矩阵,而不是s?t个m位的布隆过滤器位串,使检索重复数据块指纹的效率得到了显著的提升。理论分析、仿真测试和实验表明,DBFMS相对于传统的静态布隆过滤器以及动态布隆过滤器而言,其在可扩展性、查询效率和假阳性概率方面都取得了较好的改进效果。最后,本文结合重复数据管理相关理论及其系统结构模型,融入提出的改进算法,并采用开源的FastDFS分布式文件系统,通过配置FastDFS分布式文件系统集群实现了基于FastDFS的重复数据管理平台,完成了文件的上传、下载、删除、重命名以及重复数据管理等功能。对比应用改进算法前后系统的测试结果表明,改进后的重复数据管理系统的消重性能更好,效率更高,更加适用于云存储环境。

关键词：重复数据管理相同数据检测数据分块算法布隆过滤器

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于数据去重的广域网络传输优化系统研究

引用

中国新通信 2016年第19期18卷 56-60页

作者：时立锋刘海客包翰榕北京卫星信息工程研究所

信息技术不断的更新和发展推动全球进入大数据时代。传统型广域网传输方案伴随通信量的急剧增长已经很难满足用户的数据传输要求。面对广域网遇到的现状,主要研究了一种数据去重算法,并将其用于广域网优化系统中。重点研究了数据分块算... 详细信息

信息技术不断的更新和发展推动全球进入大数据时代。传统型广域网传输方案伴随通信量的急剧增长已经很难满足用户的数据传输要求。面对广域网遇到的现状,主要研究了一种数据去重算法,并将其用于广域网优化系统中。重点研究了数据分块算法,采用一种新型的滑动块检测技术,并利用时间淘汰算法选出重复的数据块,从而提高重复数据削减率,可以有效节约网络带宽并加快广域网传输速率。

关键词：数据去重数据分块算法广域网优化时间淘汰算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：