检索结果-南通市图书馆

基于循环bloomfilter的数据流上不同值个数的估计

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2006年第19期42卷 151-154页

作者：任美睿郭龙江玄萍黑龙江大学计算机科学技术学院哈尔滨150080

数据流是连续的、实时的无限数据,到目前为止还没有有效的方法将数据流存储起来,因此数据流上的不同值个数的估计也就成为一个比较难的研究课题。文章在对bloomfilter进行分析研究的基础上,结合数据流无限、连续、实时等特点,提出了基... 详细信息

数据流是连续的、实时的无限数据,到目前为止还没有有效的方法将数据流存储起来,因此数据流上的不同值个数的估计也就成为一个比较难的研究课题。文章在对bloomfilter进行分析研究的基础上,结合数据流无限、连续、实时等特点,提出了基于循环bloomfilter的数据流上不同值个数的估计策略。将数据流中的不同值存储在循环bloomfilter中,有效地解决了在内存有限情况下,无法保存数据流中的不同值的问题。通过与现有的估计算法的比较,实验结果表明基于循环bloomfilter的估计策略是可行和有效的。

关键词： bloomfilter 数据流不同值个数

有效预处理P2P网络中的子空间skyline查询

在线全文

学校读者我要写书评

暂无评论

软件学报 2009年第7期20卷 1825-1838页

作者：黄震华王智慧郭建魁汪卫施伯乐同济大学电子与信息工程学院上海201804 嵌入式系统与服务计算教育部重点实验室(同济大学) 上海200092 复旦大学计算机与信息技术系上海200433

多维空间的skyline查询处理是近年来数据库领域的一个研究重点和热点.Vlachou等人首次考虑如何在P2P网络中有效进行子空间上的skyline查询,并提出"扩展skyline集合"的概念来减少预处理时的网络传输量.然而实验评估表明,扩展skyline集合... 详细信息

多维空间的skyline查询处理是近年来数据库领域的一个研究重点和热点.Vlachou等人首次考虑如何在P2P网络中有效进行子空间上的skyline查询,并提出"扩展skyline集合"的概念来减少预处理时的网络传输量.然而实验评估表明,扩展skyline集合只能有限地减少子空间skyline查询预处理的数据传输量.基于此,提出一种缩减预处理时数据传输量的有效方法TPAOSS(three-phase algorithm for optimizing skyline scalar).TPAOSS算法根据全空间skyline集合与子空间skyline集合间的语义关系分3个阶段来传输必要的数据,其中第1阶段发送全空间skyline对象;第2阶段接收种子skyline对象;而第3阶段基于bloomfilter技术发送种子skyline对象在子空间上的重复对象.为了降低第2阶段的数据传输量,给出两种接收种子skyline对象的有效策略.理论分析和实验评估结果表明,所给出的算法具有有效性和实用性.

关键词：子空间skyline查询 bloomfilter super-peer体系结构查询优化

在线全文

学校读者我要写书评

暂无评论

云计算环境下密文搜索算法的研究

通信学报 2013年第7期34卷 143-153页

作者：项菲刘川意方滨兴王春露钟睿明北京邮电大学计算机学院北京100876 北京邮电大学可信分布式计算与服务教育部重点实验室北京100876 北京邮电大学软件学院北京100876

为确保数据私密性,用户选择将数据加密后再上传到云端,但云无法为密文数据提供管理和搜索等服务。密文搜索技术可以把保护用户数据私密性和有效利用云服务结合起来。在分析云环境下密文搜索算法的基础上,提出基于云环境的密文搜索体系结... 详细信息

为确保数据私密性,用户选择将数据加密后再上传到云端,但云无法为密文数据提供管理和搜索等服务。密文搜索技术可以把保护用户数据私密性和有效利用云服务结合起来。在分析云环境下密文搜索算法的基础上,提出基于云环境的密文搜索体系结构,研究其中的关键技术,指出云环境应用密文搜索技术存在的问题和改进的方向。

关键词：云存储密文搜索倒排索引 bloomfilter

基于OpenFlow的报文分类算法研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机工程与科学 2014年第5期36卷 860-865页

作者：吕昭李韬国防科学技术大学计算机学院湖南长沙410073

随着软件定义网络、OpenFlow等技术的兴起,传统的基于5元组的报文分类技术已不能满足OpenFlow基于多元组的细粒度流量控制需求。因此,以分析已有的报文分类算法为基础,采用分而治之的思想,针对OpenFlow报文分类的精确匹配需求,设计实现... 详细信息

随着软件定义网络、OpenFlow等技术的兴起,传统的基于5元组的报文分类技术已不能满足OpenFlow基于多元组的细粒度流量控制需求。因此,以分析已有的报文分类算法为基础,采用分而治之的思想,针对OpenFlow报文分类的精确匹配需求,设计实现了一种基于Hash的计数型链表Bloom Filter算法——OF_CBF算法。针对OpenFlow报文分类的通配匹配需求,借鉴正则表达式匹配算法思想,设计实现了基于有限自动机的报文匹配算法——OF_FSMP算法。对两种算法进行分析验证,并初步对两种算法进行了性能分析。

关键词：网络处理器报文分类 OpenFlow bloomfilter 有限自动机

在线全文

学校读者我要写书评

暂无评论

动态的分布式环境下Top-k查询计算

计算机研究与发展 2007年第Z3期44卷 89-94页

作者：王斌杨晓春王国仁王波涛东北大学信息学院沈阳110004 东北大学信息学院沈阳110004 东北大学信息学院沈阳110004 东北大学信息学院沈阳110004

分布式Top-k查询计算在多媒体近似匹配、网络监控、文档检索和Web数据搜索等技术中具有重要意义.分析分布式Top-k查询计算算法性能的重要标准是网络延迟和带宽消耗.早期的算法主要研究在集中式的环境中,提供有效地处理分布式Top-k查询计... 详细信息

分布式Top-k查询计算在多媒体近似匹配、网络监控、文档检索和Web数据搜索等技术中具有重要意义.分析分布式Top-k查询计算算法性能的重要标准是网络延迟和带宽消耗.早期的算法主要研究在集中式的环境中,提供有效地处理分布式Top-k查询计算.然而,在动态的、分布式环境中,这些方法还显得不够成熟.因此,提出了一种在网络查询过程中建立的树形拓扑结构,利用直方图统计信息和bloomfilter数据压缩技术,有效地执行局部优化,及在中间节点(peer)进行部分结果的合并,最终得到全局处理的Top-k查询计算方法(称做TTC算法).这种算法不仅降低了网络延迟,有效地支持动态变化的分布式环境,而且减少网络带宽的消耗.实验结果表明,TTC算法在全局带宽的消耗和网络的响应时间上效果非常显著.

关键词： Top-k 直方图 bloomfilter 分布式环境

一种基于Hurst参数的SYN Flooding攻击实时检测方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机科学 2008年第12期35卷 109-113,162页

作者：严芬王佳佳殷新春黄皓南京大学计算机软件新技术国家重点实验室南京210093 扬州大学信息工程学院计算机科学与工程系扬州225009

提出了一种轻量级的源端DDoS攻击检测的有效方法。基于Bloom Filter技术提取网络数据包中新的可疑源IP地址出现的次数,然后使用实时在线VTP方法进行异常检测,不仅能够实时检测出DDoS攻击的存在,而且能够避免因为网络数据流量的正常突变... 详细信息

提出了一种轻量级的源端DDoS攻击检测的有效方法。基于Bloom Filter技术提取网络数据包中新的可疑源IP地址出现的次数,然后使用实时在线VTP方法进行异常检测,不仅能够实时检测出DDoS攻击的存在,而且能够避免因为网络数据流量的正常突变引起的误报。从实验结果可以看出,该方法还能够发现大流量背景下,攻击流量没有引起整个网络流量显著变化的DDoS攻击。

关键词： DDoS 源端检测 bloomfilter 实时检测 Hurst参数

在线全文

学校读者我要写书评

暂无评论

云计算环境中支持模糊检索的加密算法

广西大学学报（自然科学版） 2017年第3期42卷 1121-1130页

作者：黄汝维李志坤江恩玮陈宁江广西大学计算机与电子信息学院广西南宁530004

随着云计算的深入发展,隐私安全成为了云安全的一个关键问题。传统的加密方法是常用的保护敏感数据的方法,但是它们不支持对密文的直接操作。为了提供云计算环境中的隐私保护,提出了基于双哈希和带权重的Bloom Filter(DWBF),并构建了基... 详细信息

随着云计算的深入发展,隐私安全成为了云安全的一个关键问题。传统的加密方法是常用的保护敏感数据的方法,但是它们不支持对密文的直接操作。为了提供云计算环境中的隐私保护,提出了基于双哈希和带权重的Bloom Filter(DWBF),并构建了基于DWBF的支持模糊检索的加密算法KEDWBF。安全分析和性能评估证明KEDWBF是IND-CPA安全的,并能高效地实现对加密数据的模糊检索。

关键词：云计算隐私安全模糊检索加密算法 bloomfilter

Spark大表等值连接的优化及其在网络流量数据分析的应用研究

在线全文

学校读者我要写书评

暂无评论

Spark大表等值连接的优化及其在网络流量数据分析的应用研究

作者：周思伟华南理工大学

学位级别：硕士

随着互联网技术与云计算的发展,各行各业的数据量都在快速增长,大数据的时代已经到来。在电信领域,用于监控网络流量的网络流量数据也在迅速增长,其存储分析急需大数据技术的支持。开源的Hadoop大数据平台顺势而出,其生态系统下的HDFS与... 详细信息

随着互联网技术与云计算的发展,各行各业的数据量都在快速增长,大数据的时代已经到来。在电信领域,用于监控网络流量的网络流量数据也在迅速增长,其存储分析急需大数据技术的支持。开源的Hadoop大数据平台顺势而出,其生态系统下的HDFS与Map Reduce两大重要组件在一定程度上解决了网络流量大数据的需求。目前,HDFS已经能够很好的完成大数据的存储,但是Map Reduce作为一个批处理模型,不能完成其他的数据分析需求,如交互式处理和流式数据处理。这也导致在分布式计算领域形成了Map Reduce、Impala、Storm等计算框架并存的局面。Apache Spark是一个快速并且通用的大数据处理引擎,能够用于处理流式数据、SQL查询、机器学习以及图计算等分析场景。在网络流量大数据的分析中,大表关联查询操作非常多,而Spark中的Join操作性能较低,其原因是大量不符合连接条件的数据参与了Shuffle阶段,这导致大量的网络通信开销和磁盘I/O开销。首先,本文针对大表等值连接,提出了一种基于Bloom Filter数据结构的Spark Join优化方式,这种Join方式能够预先过滤掉大部分不符合连接条件的记录。然后,本文提出了一个基于改进后Spark的网络流量大数据平台。在这个平台中,本文详细地讲述了Spark以及Spark生态系统中的各个组件如何用于处理网络流量数据的分析处理。最后,本文以两个实验来验证了本文的研究内容,优化后的Spark Join方式能够减少网络通信的开销,进而减少Shuffle阶段的时间,并且在网络流量大数据处理场景中,Spark计算框架的性能要优于传统的Map Reduce计算框架。

关键词： Spark HDFS bloomfilter Join NetFlow

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于物联网的农业大数据处理方法研究

基于物联网的农业大数据处理方法研究

作者：卢玉锋河南师范大学

学位级别：硕士

物联网在农业信息化中的推广,庞大的传感器和RFID节点,能够更好地对生产环境中的信息进行监控,但是,它们采集的数据量规模会越来越大,数据会出现海量冗余,会对我们后续的业务处理任务造成了一些影响,不仅有性能瓶颈等问题,还会导致输出... 详细信息

物联网在农业信息化中的推广,庞大的传感器和RFID节点,能够更好地对生产环境中的信息进行监控,但是,它们采集的数据量规模会越来越大,数据会出现海量冗余,会对我们后续的业务处理任务造成了一些影响,不仅有性能瓶颈等问题,还会导致输出结果不可信。如此巨大规模的数据,是传统的数据处理方法遇到的难题,而随着大数据时代的步伐,出现了很多大数据计算框架,如Hadoop、Storm、Spark,很多企业选择它们,并做出了成功的案例,它们也相继被应用在农业大数据领域。根据数据的特点和使用场景,选择合适的处理工具,是进行数据处理必须要考虑的因素。对高度冗余的数据如何做预处理,对大数据做处理分析的系统如何做到健壮高效,都是不可忽视的细节。本文依据实践经验,基于农业系统中数据的数据流向和数据特征,根据Spark处理分析数据时的机制,从减少数据冗余,并从做大表关联优化的问题入手,提出了基于bloomfilter的数据过中间件,提出了Spark大表关联优化方法。本文的主要研究工作如下:(1)基于物联网的农业数据采集端,采集的数据往往海量冗余,给后面的分析处理带来了一定问题,本文根据bloomfilter过滤数据的优点,在基于bloomfilter的基础上提出了对冗余数据进行过滤的优化方法。(2)针对Spark这个大数据计算框架能够进行流式数据处理,能够处理基于物联网的农业数据流并且符合实时性要求,但是面对很大的两表进行连接操作时通常表现的效率不高和面对数据倾斜时造成的问题,给出了一个优化方法。(3)将以上的优化方法运用于实际应用中。设计了一个基于Spark和农业物联网的系统模型,该模型中主要结合了上述1和2中优化方法,并对该系统模型进行了可行性分析和流程说明。

关键词：农业物联网 Spark bloomfilter 数据表关联 RFID数据过滤