检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种乱序数据流上的偏倚抽样算法

计算机研究与发展 2011年第S3期48卷 298-303页

作者：秦林新刘奇志南京大学计算机软件新技术国家重点实验室南京210093 南京大学计算机科学与技术系南京210093

抽样是生成和维护数据流概要结构的常用方法.乱序数据流中,延时到达的数据通常被丢弃,从而会降低聚集运算的精度.提出一种新的利用双时间戳进行偏倚抽样的方法,通过所设计的衰减函数确定数据流元组的权重,根据该权重进行抽样,不仅可以... 详细信息

抽样是生成和维护数据流概要结构的常用方法.乱序数据流中,延时到达的数据通常被丢弃,从而会降低聚集运算的精度.提出一种新的利用双时间戳进行偏倚抽样的方法,通过所设计的衰减函数确定数据流元组的权重,根据该权重进行抽样,不仅可以保证将最新产生的数据抽中,保留在滑动窗口内,还可以保证部分重要的延时数据不被丢弃.利用平衡二叉树存储滑动窗口内数据流元组的权重,以提高数据流操作的响应时间.实验结果表明根据双时间戳计算出的数据权重更能反映数据的实时性和代表性;与顺序结构相比,利用平衡二叉树可提高最小权重的查找速度,流数据量越大,速度提高越明显.

关键词：乱序数据流概要结构双时间戳抽样

QJoin:质量驱动的乱序数据流连接处理技术

在线全文

学校读者我要写书评

暂无评论

广西科学 2020年第3期27卷 266-275页

作者：魏星贝李陶深许嘉吕品杨宁广西大学计算机与电子信息学院广西南宁530004 广西高校并行与分布式计算技术重点实验室广西南宁530004

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确... 详细信息

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。

关键词：质量驱动连接处理乱序数据流存储开销流元组缓存

在线全文

学校读者我要写书评

暂无评论

基于时间关联性的数据流乱序处理技术

基于时间关联性的数据流乱序处理技术

作者：魏星贝广西大学

学位级别：硕士

随着互联网和大数据技术的不断发展与应用,产生了源源不尽的数据流。数据流的产生具有无限性、连续性、动态性和实时性,因此对数据流的分析处理要求快速有效地获取结果,以便保证分析结果的时效性。但是,数据流上的乱序问题会导致数据流... 详细信息

随着互联网和大数据技术的不断发展与应用,产生了源源不尽的数据流。数据流的产生具有无限性、连续性、动态性和实时性,因此对数据流的分析处理要求快速有效地获取结果,以便保证分析结果的时效性。但是,数据流上的乱序问题会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大挑战。在对数据流的分析研究中,数据流间相似性连接是一项重要基础操作,常用于数据流的挖掘和分析。乱序问题严重破坏了数据流处理结果的完整性。本文研究基于滑动窗口语义下的数据流相似性连接问题,探讨质量驱动下的乱序数据流连接处理方法与技术,开展了以下方面的研究工作:(1)提出一种质量驱动的乱序数据流连接处理技术QJoin。该技术采用缓存技术和对称连接策略保证流元组能被即时分析处理,以降低流元组的平均等待时延,提升基于滑动窗口语义的乱序数据流连接处理的处理速率;基于质量驱动的理念,通过在临近阶段连接处理过程中收集统计数据来优化缓存的大小,使得在满足用户结果质量要求的前提下,通过降低历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性,从而降低系统的内存开销。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin技术在满足用户结果质量要求的同时,不仅能够保证数据流的流元组被即时分析处理,还显著降低了内存使用开销。(2)分析数据流速的动态变化特性,针对流速连续增大造成系统持续过载的问题,在QJoin缓存受限的基础上提出了一种系统资源降载策略。该策略在数据流速过高时,基于时间关联性适当地把冗余的元组过滤掉,以此来降低系统负荷,提高对系统持续过载问题的应对能力。真实流数据集的动态变化实验结果表明,基于QJoin的系统资源降载策略能够有效应对数据流速持续增大时系统持续过载的行为,提升了 QJoin技术的性能。本文从适应数据流应用的即时处理和用户结果质量需求的角度,提出了一种新的乱序数据流连接处理技术,有效降低了系统内存开销,提高了数据流相似性连接问题的查询效率,为基于滑动窗口语义的乱序数据流相似性连接问题处理提供了可行有效的解决方案,可以广泛地应用于视频流对象跟踪、趋势监控和谐度分析等领域。论文的研究具有一定的科学意义和应用价值。

关键词：质量驱动连接处理乱序数据流存储开销

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

乱序RFID数据流上的复杂事件检测方法

西北工业大学学报 2009年第4期27卷 449-454页

作者：刘海龙李战怀陈群西北工业大学计算机学院陕西西安710072

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法。该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题。文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂... 详细信息

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法。该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题。文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂事件检测算法;在基本算法的基础上添加了基于双时间槽的滑动窗口处理;对Hash表大小等参数对算法效率的影响、基于双时间槽的滑动窗口处理方法的效果进行了实验验证。实验结果表明:算法是有效的;Hash表大小对算法效率影响较为明显;基于双时间槽的滑动窗口处理方法可以显著提高内存使用效率。

关键词： RFID 复杂事件乱序数据流 Hash表滑动窗口双时间槽

基于ENFA的乱序RFID复杂事件检测算法

在线全文

学校读者我要写书评

暂无评论

华中科技大学学报（自然科学版） 2010年第1期38卷 25-30页

作者：刘海龙李战怀西北工业大学计算机学院陕西西安710029

针对时间戳乱序的无线射频识别(RFID)复杂事件检测带来的诸如建立事件关联关系的方法失效、判定复杂事件的构成时机困难、判定事件未发生与未到达困难等问题,提出了基于扩展的非确定性有限自动机(ENFA)模型的复杂事件检测算法.形式化地... 详细信息

针对时间戳乱序的无线射频识别(RFID)复杂事件检测带来的诸如建立事件关联关系的方法失效、判定复杂事件的构成时机困难、判定事件未发生与未到达困难等问题,提出了基于扩展的非确定性有限自动机(ENFA)模型的复杂事件检测算法.形式化地描述了时间戳乱序问题,分析了时间戳乱序给复杂事件检测带来的问题;引入插入优化策略,采用多时间槽索引策略进行滑动窗口处理,摒弃中间结果中过期数据;支持含有非事件的复杂事件检测.实验结果表明该算法能够有效解决时间戳乱序带来的问题.

关键词：无线射频识别非确定性有限自动机乱序数据流复杂事件检测

在线全文

学校读者我要写书评

暂无评论

大数据中面向乱序数据的改进型BP算法

系统工程理论与实践 2014年第S1期34卷 158-164页

作者：卓林超王堃南京邮电大学宽带无线通信与传感网技术教育部重点实验室南京210003

针对大数据中的乱序数据缺少关联规则的问题,提出了一种动态调整的改进型BP算法,运用了动态自适应结构调整机制,根据环境要求自适应调整网络训练结构,自动删除无效训练神经元,优化迭代训练过程;并在网络学习过程中动态调整网络参数中的... 详细信息

针对大数据中的乱序数据缺少关联规则的问题,提出了一种动态调整的改进型BP算法,运用了动态自适应结构调整机制,根据环境要求自适应调整网络训练结构,自动删除无效训练神经元,优化迭代训练过程;并在网络学习过程中动态调整网络参数中的三因子,即动量因子、权学习指数、阈学习指数,来达到加快学习响应速度、增强网络稳定性的目的.仿真结果表明,通过动态自适应调整结构、动态调整三因子的改进型算法,能够获得更多的收敛次数,并能有效地提高收敛率,进而提高整体网络性能.

关键词： BP算法机器学习关联规则乱序数据流大数据

在线全文

学校读者我要写书评

暂无评论

基于余弦函数局部特征的时间衰变模式

计算机应用 2012年第2期32卷 313-316页

作者：樊海宽刘奇志南京大学软件新技术国家重点实验室南京210093 南京大学计算机科学与技术系南京210093 国防科学技术大学计算机学院长沙410073

数据流具有无限增长的特征,目前的计算系统无法在线处理整个数据集,只能在有限空间内对部分数据进行处理。为了能够得到尽可能合理的结果,数据流系统常常采用单调递减函数由数据的时间戳来确定数据的权值,根据权值选择数据。广泛使用的... 详细信息

数据流具有无限增长的特征,目前的计算系统无法在线处理整个数据集,只能在有限空间内对部分数据进行处理。为了能够得到尽可能合理的结果,数据流系统常常采用单调递减函数由数据的时间戳来确定数据的权值,根据权值选择数据。广泛使用的单调函数是指数函数和多项式函数,但它们存在衰变速度太快或太慢等问题。提出一种新的时间衰变模式——使用余弦函数的局部衰变速度介于指数和多项式之间的特征来确定数据的权值。实验结果显示相对于指数和多项式衰变,局部余弦衰变具有衰变速度合理、参数易于确定、适用于乱序数据流等优势。

关键词：数据流时间衰变模式余弦函数乱序数据流前向衰变模型