检索结果-南通市图书馆

作者：蒋晨晨南京邮电大学

学位级别：硕士

随着时代的发展,大数据的出现给流查询系统的研究带来了一些新的挑战。首先,早期流数据查询系统多为集中式处理系统,即数据在单一节点上进行运算分析,单节点资源有限,存在性能瓶颈,数据量过大后将大幅增大数据处理的延时,降低数据处理... 详细信息

随着时代的发展,大数据的出现给流查询系统的研究带来了一些新的挑战。首先,早期流数据查询系统多为集中式处理系统,即数据在单一节点上进行运算分析,单节点资源有限,存在性能瓶颈,数据量过大后将大幅增大数据处理的延时,降低数据处理的性能和准确度。同时,随着大数据与云计算时代的到来,数据流的计算在分布式环境中完成,数据在不同的节点运算,结果不能共享,对流连接运算有着一定的影响。由于需要连接的流数据之间存在连接关系,若将需要连接的流数据被分发到不同的节点中,则需要跨节点查找数据,带来了巨大的网络开销;再者,流数据是无限的,数据流的连接需要将数据缓存后进行运算,这带来了巨大的内存开销,而传统的流查询系统在内存负荷过高时将数据随机抛弃,导致查询结果误差变大,因此如何在有限的内存中完成连接操作并保证输出结果的准确性,成为了当前的研究热点。最后,过大的数据必然会给系统带来压力,当系统过载时随机抛弃数据会降低结果的精确性。本文对以上的问题进行了深入的研究与分析,充分调研了流数据管理系统和大数据处理平台,基于流数据处理平台storm设计了一种新的用户处理连续查询的实时查询框架,并针对storm集群重新设计了分组算子、聚合算子、过滤算子等查询中常用功能算子,使传统的流查询算子能够在分布式环境中对流数据进行正确高效地计算。针对其中较为复杂的流连接算子进行重点研究,提出了一种基于关系模型的等值多流连接算法RMS-Join(Relationship Multiway Streams-Join),该算法首先通过计算流连接的代价模型,用于减小数据分发和数据连接操作的总体开销,然后通过设置主键分发数据,保证需要连接的数据在同一个节点进行计算,最后通过关系树模型连接和降载数据。相比于传统的多流连接算法,RMS-join算法有效地提高了数据进行连接操作时的效率与准确度。最后,本论文针对大数据环境下数据多样性、数据量巨大的问题,提出了一种局部自适应降载数据的方法。该方法通过在数据流传入系统前将超过系统所能处理的数据了基于DTW(Dynamic Time Warping)距离对数据序列进行相似性计算,再根据数据特征和过载情况按照一定比例抛弃一部分数据,该方法能够尽可能地保存输入数据的数据特征,从而在降载时提高了查询结果的准确率。

关键词：大数据流查询流连接降载 Storm

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向流数据的数据管理系统的研究

引用

计算机应用研究 2005年第1期22卷 88-90,133页

作者：桂浩冯玉才李又奎华中科技大学计算机学院湖北武汉430074 华为技术有限公司南京研究所江苏南京210044

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统... 详细信息

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构,重点讨论基于流数据的数据模型和流查询。

关键词：数据流管理系统数据库流查询

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于大数据平台的流连接算法及并行化研究

基于大数据平台的流连接算法及并行化研究

引用

作者：郎贤波南京邮电大学

学位级别：硕士

近些年来,流式计算(Computing of Stream)作为大数据领域中一个非常重要的研究内容,在学术界和商业界得到了越来越多的关注。在很多实时流数据查询场景中,对流数据处理的时效性要求非常严格。随着数据规模的日渐增大,国内外出现了很多... 详细信息

近些年来,流式计算(Computing of Stream)作为大数据领域中一个非常重要的研究内容,在学术界和商业界得到了越来越多的关注。在很多实时流数据查询场景中,对流数据处理的时效性要求非常严格。随着数据规模的日渐增大,国内外出现了很多流式计算系统。其中具代表性的有斯坦福大学的STREAM系统以及Twitter的Storm系统,但上述系统对流查询算法的设计过于简单,因此不能满足较为复杂的实时流查询业务需求。流连接作为实时流查询中一个具有代表性的数据处理算法,具有重要的研究意义。随着大数据与云计算的发展,流连接算法在大数据平台上的实现正面临着新的问题和挑战,主要集中体现在以下三个方面:(1)现有的流连接算法如何在大数据平台上进行设计与实现;(2)如何提高流连接算法的效率;(3)如何结合大数据平台上实现并行化连接。本文对以上问题进行了深入的分析和研究,对流数据处理框架及其相关技术进行充分的调研。首先对传统流连接算法的窗口更新方式做了改进,提出了一种针对数据流量不稳定的窗口更新的流连接算法。通过计算连接代价模型,周期性地选择合适的更新周期;同时,针对流连接并行化,通过结合流连接语义本文设计了一种基于一致性Hash的数据流分发策略,该策略首先对连接语义进行分析生成连接计划,选择出最优的连接方案,根据连接关系将流数据分发到相同的节点中进行计算,在大数据平台上实现并行化连接。由于流数据本身具有无限且连续变化的特点,连接算法的时间和空间复杂度急剧增加,不能满足实际的应用需求,本文采用流式计算平台Storm,对流连接算法并行化实现进行了设计,最后通过实验说明算法在结果输出量、实时性等方面有较好的性能。

关键词：大数据流查询流连接流计算平台

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于信令监测的Cell-ID定位系统设计与实现

基于信令监测的Cell-ID定位系统设计与实现

引用

作者：马石北京邮电大学

学位级别：硕士

随着无线通信网络的快速部署,表示无线通信用户的固有移动性行为的定位信息已经引起了人们的极大兴趣。在过去10年中进行定位和通信系统部署的同时,分别在通信和定位方向上进行的研究已经演变整合成了一个整体。例如,目前的第三代合作... 详细信息

随着无线通信网络的快速部署,表示无线通信用户的固有移动性行为的定位信息已经引起了人们的极大兴趣。在过去10年中进行定位和通信系统部署的同时,分别在通信和定位方向上进行的研究已经演变整合成了一个整体。例如,目前的第三代合作伙伴项目(3rdGeneration Partner Project,3GPP)和超宽带(Ultra Wideband, UWB),其中包括了定位机制的信息通信标准。这些功能的综合化就会催产出新的服务,我们称之为位置信息服务。位置信息服务是目前热门的数据增值业务之一,是行业界公认的最有吸引力的无线数据业务之一。在各种定位技术中,Cell-ID定位因其价格便宜、使用方便,并且不受移动终端地理位置的限制,因此占有极其重要的地位。本文就基于Cell-ID定位技术进行研究,设计并实现了一套基于信令监测的Cell-ID定位系统。这套系统不但提供了已有Cell-ID定位系统所具备的单条定位、批量定位以及持续定位等业务功能,同时改革了基于核心网实时查询的Cell-ID定位技术。首先,信令监测系统从核心网实时收集各种包含有Cell-ID的信令,然后将信令流实时传输给基于信令监测的Cell-ID定位系统,然后该系统直接从这些信令中提取Cell-ID,最后根据此Cell-ID获得用户的当前位置,从而为第三方应用提供定位服务。这种Cell-ID定位技术避免了Cell-ID定位业务与核心网之间的相互影响,从而解决了原有Cell-ID定位技术可能产生的信令堵塞、信令风暴等问题。本文从多种定位技术入手,介绍了这些定位技术的主要内容、优缺点以及适用范围,并分析了Cell-ID定位技术的重要性以及具体的技术细节。之后,文章讨论了Cell-ID定位系统在定位业务中需要完成的具体业务功能,通过需求分析明确了系统的功能范围。论文的重点在于阐述基于信令监测的Cell-ID定位系统的设计模型以及实现的业务流程,其中着重讨论了不同定位场景以及不同定位方式下的操作流程以及系统行为。最后介绍系统的测试及实际应用部署情况,总结了作者研究生期间的项目实践工作,并对Cell-ID定位技术的发展进行了展望。

关键词：信令监测 Cell-ID 流查询分布式

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

流数据存储系统体系结构研究

流数据存储系统体系结构研究

引用

2007中国科协年会——通信与信息发展高层论坛

作者：江杨广东省电信有限公司广州市番禺分公司

近年来,随着网络的飞速发展和计算机速度越来越快,大量数据的处理也逐渐成为了人们开始研究的问题。一些数据由于数量太大而不宜永久保存。但由于这些数据有量大、快速、时变的特点,具有这些特点的数据,被称为流数据。本文介绍了整个流... 详细信息

近年来,随着网络的飞速发展和计算机速度越来越快,大量数据的处理也逐渐成为了人们开始研究的问题。一些数据由于数量太大而不宜永久保存。但由于这些数据有量大、快速、时变的特点,具有这些特点的数据,被称为流数据。本文介绍了整个流数据存储系统的体系结构和运行过程。对流数据体系结构中的每个模块都进行了详尽的介绍, 解决了一些在流数据存储系统实际开发时可能会遭遇到的理论问题,为流数据存储系统的开发进行了理论指导.

关键词：流数据流查询流数据存储流数据存储系统

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：