检索结果-南通市图书馆

winnowing指纹串匹配的重复数据删除算法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机应用 2018年第3期38卷 677-681,714页

作者：王青松葛慧辽宁大学信息学院沈阳110036

针对可变长度分块(CDC)的重复数据删除算法的分块大小难以控制、指纹计算对比开销大、需要预先设置参数问题,提出winnowing指纹串匹配的重复数据删除算法(DWFM)。首先,在数据分块前引入分块大小预测模型,较准确地根据应用场景计算出合... 详细信息

针对可变长度分块(CDC)的重复数据删除算法的分块大小难以控制、指纹计算对比开销大、需要预先设置参数问题,提出winnowing指纹串匹配的重复数据删除算法(DWFM)。首先,在数据分块前引入分块大小预测模型,较准确地根据应用场景计算出合适的分块大小;然后,在计算指纹时采用ASCII/Unicode编码方式作为数据块指纹;最后,在确定分块边界时,提出指纹串匹配的分块算法,不需要预先设置参数,使得指纹计算和对比开销减少。在多种数据集上的实验结果表明,相比固定长度分块(FSP)和CDC算法,DWFM在数据的重删率上提升10%左右,在指纹计算和对比开销方面减少了18%左右。因此,DWFM的分块大小和边界更加符合数据特性,减少了参数设置对重复数据删除算法性能的影响,在处理不同类型的数据时,可以有效地消除更多的重复数据。

关键词：重复数据删除数据分块指纹串匹配 winnowing 分块预测

一种基于winnowing分块的重复数据删除备份与恢复系统设计与实现

在线全文

学校读者我要写书评

暂无评论

四川大学学报（自然科学版） 2012年第3期49卷 535-542页

作者：黄传波胡晓勤马晓旭王喆四川大学计算机学院成都610065

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据... 详细信息

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.

关键词： winnowing 重复数据删除文件备份与恢复

在线全文

学校读者我要写书评

暂无评论

一种扩展winnowing剽窃检测算法

计算机工程与科学 2017年第12期39卷 2245-2251页

作者：段旭良杨洋王曼韬穆炯四川农业大学信息工程学院四川雅安625014

剽窃是目前学术界和教育界面临的普遍问题,成熟的商业化剽窃检测系统运行时间和经济代价高,不适合实时性、轻量级的学生作业等日常检测。对基于文本指纹的winnowing剽窃检测算法进行扩展,在提取指纹的同时记录文本定位及其长度信息,给... 详细信息

剽窃是目前学术界和教育界面临的普遍问题,成熟的商业化剽窃检测系统运行时间和经济代价高,不适合实时性、轻量级的学生作业等日常检测。对基于文本指纹的winnowing剽窃检测算法进行扩展,在提取指纹的同时记录文本定位及其长度信息,给出了指纹提取、文本定位、剽窃指纹索引合并等算法,实现了剽窃文本的检测、定位、标记。实验结果及算法在应用系统中实际运行状况表明,算法的扩展对其性能影响不大,普通硬件配置条件下即可满足中小规模应用需求。扩展算法在原算法轻量级、高效率、可靠性和灵活度高等特点基础上,进一步拓展了winnowing的功能,增强了原算法的适应性和应用价值。

关键词： winnowing 剽窃检测相似检测剽窃文本定位文本指纹

在线全文

学校读者我要写书评

暂无评论

基于重复数据删除的快速文件归档方法

四川大学学报（工程科学版） 2011年第5期43卷 120-125页

作者：马晓旭刘晓洁胡晓勤赵辉四川大学计算机学院四川成都610065

为了提高归档系统的存储效率及性能,提出了一种基于重复数据删除的快速文件归档方法(RAMBDD),利用文件分块、比较数据块指纹、删除重复数据,实现了文件的数据块级归档。RAMBDD中给出了一种基于winnow-ing的重复数据删除方法LMCA,它在提... 详细信息

为了提高归档系统的存储效率及性能,提出了一种基于重复数据删除的快速文件归档方法(RAMBDD),利用文件分块、比较数据块指纹、删除重复数据,实现了文件的数据块级归档。RAMBDD中给出了一种基于winnow-ing的重复数据删除方法LMCA,它在提高文件冗余检测率的同时也保证了文件分块的效率,并通过使用指纹快速检索方法和局部指纹缓存方法,减少了在查找不存在的数据块指纹时的磁盘读取次数,加速了查找重复数据块的过程。实验结果表明,与传统的文件归档方法相比,本方法大大节省了归档数据的存储空间和网络传输带宽,缩短了归档时间,提高了文件归档的效率。

关键词：文件归档重复数据删除数据指纹局部性 winnowing

在线全文

学校读者我要写书评

暂无评论

一种用于文本复制检测的指纹特征选择算法

杭州电子科技大学学报（自然科学版） 2017年第3期37卷 51-57,72页

作者：张祯邓新洁付二帅王刘阳杭州电子科技大学网络空间安全学院浙江杭州310018

基于指纹特征的文本复制检测技术可以快速识别抄袭现象,但是存在指纹密度过大的问题,为此,提出了一种指纹特征选择算法——基于最优决策的指纹特征选择算法.在winnowing算法的基础上,引入最优决策模型,构建了指纹特征选择的最优决策模型... 详细信息

基于指纹特征的文本复制检测技术可以快速识别抄袭现象,但是存在指纹密度过大的问题,为此,提出了一种指纹特征选择算法——基于最优决策的指纹特征选择算法.在winnowing算法的基础上,引入最优决策模型,构建了指纹特征选择的最优决策模型,通过对滑动窗口内各部分散列值进行评估来选择最优的指纹特征,避免了相邻窗口指纹特征重复选择的不足.实验结果表明,该算法和winnowing算法相比,在保证文本复制检测精度的情况下,有效降低了指纹密度.

关键词：复制检测指纹密度 winnowing 最优决策