检索结果-南通市图书馆

作者：李钊北京邮电大学

学位级别：硕士

随着云计算技术的快速发展,越来越多的企业和个人将业务和应用部署到云环境中,其中,实时流处理业务占据的比重越来越高。传统云计算平台多为批处理平台(如Hadoop),批处理作业的输入是预先存储好的静态数据,作业规模可预知,数据处理完毕... 详细信息

随着云计算技术的快速发展,越来越多的企业和个人将业务和应用部署到云环境中,其中,实时流处理业务占据的比重越来越高。传统云计算平台多为批处理平台(如Hadoop),批处理作业的输入是预先存储好的静态数据,作业规模可预知,数据处理完毕即停止。与批处理作业不同,实时流处理作业的输入是不间断的数据流,且数据量大小具有波动性。因此,如何在云环境下设计一套通用可靠的实时流计算平台成为了非常重要的问题。目前现有的实时流计算平台在平台编程模型、高可用性、动态负载均衡、资源及业务动态变更、平台监控等方面存在不足或局限性,难以适应不断变化的流处理业务需求。本文围绕云环境下实时流计算平台中的核心技术,开展了一系列的研究与系统实现工作。首先,我们针对实时流计算平台的可用性问题,设计实现了一套基于Zookeeper的高可用架构,通过监控各模块心跳信息和故障迁移策略,确保平台及时检测并恢复程序级与节点级故障。然后,我们设计了一套松散的用户接口,可集成动态库与可执行程序业务,降低平台耦合性,使业务能更加灵活的集成到平台中来,解决了传统平台对业务接入方式要求过高的问题。其次,为了解决任务间多对多动态负载均衡问题,我们采用状态级调度器与分布式会话表技术,克服了在无全局会话表的情况下保持会话一致性的难点,并证明了该方法的收敛性,使平台中资源使用更均衡、资源利用率更高。再次,平台通过建立任务分配矩阵,优化了任务调度模型,使用户可通过任务分配矩阵方便的实现个性化任务调度策略。最后,为了解决分布式集群中共享资源和变量的一致性问题以及多主节点互备问题,采取了基于Zookeeper的分布式锁服务,提升了系统的健壮性。在上述研究工作的基础上,本文实现了一套云环境下实时流计算平台——流水行云,该平台具有低耦合、高可用、低延迟、弹性可扩展的特点,并具有动态库与可执行程序业务接口、作业下发与运行时启停更新、动态的负载均衡策略、故障节点中任务迁移、多种任务分配策略、运行时资源动态变更、及丰富的UI监控信息等功能。通过该平台,用户可以摆脱通信实现、集群搭建、平台运维等困扰,将精力集中在业务的实现上,从而缩短业务开发周期、减少开发与运维成本、降低业务开发风险。实验结果表明：“流水行云”实时流计算平台最大可承载吞吐量及处理延迟都处于同类平台中的领先水平。该平台为海量数据流实时处理,如电子商务实时交易数据处理、物联网传感流量分析、互联网流量监控等提供了可靠、通用、快速的解决方案。

关键词：流计算平台分布式计算高可用负载均衡全局监控

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式流计算平台上任务调度的关键技术研究

分布式流计算平台上任务调度的关键技术研究

引用

作者：张世鹏西安电子科技大学

学位级别：硕士

近几年来,数据处理技术飞速地发展,一些基于数据分析的应用技术也随之大量涌现。并且伴随着各领域中信息采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据像流水一样进入数据处理系统。如何实时地抓取数据流中有价... 详细信息

近几年来,数据处理技术飞速地发展,一些基于数据分析的应用技术也随之大量涌现。并且伴随着各领域中信息采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据像流水一样进入数据处理系统。如何实时地抓取数据流中有价值的信息,并实时地进行精确计算、得出相应结论至关重要。传统的分布式处理模式不可能实现上述需求,所以,一种全新的分布式流计算处理模式应运而生,这种处理模式以其良好的扩展性、灵活性、易用性受到业界的欢迎。本文设计了一套完整的流计算处理平台,在这个平台上用户可以完全避免集群搭建、平台运维、通信实现的繁琐工作,大大缩短了开发周期。在分布式流计算系统（如云计算等）上,多任务需要同时运行复杂的计算,通常把这些任务分配到多个处理机上去处理,这个过程被称为任务调度。采用不同的任务调度算法对相同的输入数据流进行处理,最终的性能差异非常大。通常在传统的处理模式中,其输入大多都是静态数据,所以任务的执行时间是可预知的。在均衡处理机数目受限的条件下,只要给定一组DAG,经典的HEFT算法就能得到一组高效的调度方案;但是实时流计算平台中的输入是源源不断的数据流,并且数据量的大小是不确定的,最终导致任务的执行时间是不确定的。这也就直接导致了HEFT算法在实际应用环境中,实验结果与预期结果差距较大。在分布式流计算系统里进行工作流任务调度时,如何解决单个任务执行时间的不确定性问题至关重要。由于这种不确定性的存在,静态的工作流任务调度方法将不再可用。因此本文提出一种基于蒙特卡洛的工作流任务调度方法,该方法建立在一种经典的启发式静态工作流任务调度方法（HEFT）基础之上,通过运用一种随机数生成算法,在一定约束条件下大量生成任务执行时间,并结合正态分布、均匀分布模型对任务执行时间进行建模,从而确保了 HEFT算法的可用性;利用HEFT算法,结合随机的任务执行时间,就可以生成大量的调度方案,再从这些调度方案中选出最优的调度方案,并作为最终的输出方案。整个过程通过对随机数生成机制、完工时间阈值的确定、各阶段重复次数的限定、性能评估标准等关键技术的研究,确保了此算法的高效性。通过把这一套全新的任务调度方法应用到“流水行云”平台中,并经过大量的实验以及性能测试,结果表明:本文提出的方法不仅大大缩短了任务的调度时间,显著提升了平台性能,而且此方法还具有非常强的通用性。

关键词：流计算平台任务调度静态启发式调度蒙特卡洛方法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于大数据平台的流连接算法及并行化研究

基于大数据平台的流连接算法及并行化研究

引用

作者：郎贤波南京邮电大学

学位级别：硕士

近些年来,流式计算(Computing of Stream)作为大数据领域中一个非常重要的研究内容,在学术界和商业界得到了越来越多的关注。在很多实时流数据查询场景中,对流数据处理的时效性要求非常严格。随着数据规模的日渐增大,国内外出现了很多... 详细信息

近些年来,流式计算(Computing of Stream)作为大数据领域中一个非常重要的研究内容,在学术界和商业界得到了越来越多的关注。在很多实时流数据查询场景中,对流数据处理的时效性要求非常严格。随着数据规模的日渐增大,国内外出现了很多流式计算系统。其中具代表性的有斯坦福大学的STREAM系统以及Twitter的Storm系统,但上述系统对流查询算法的设计过于简单,因此不能满足较为复杂的实时流查询业务需求。流连接作为实时流查询中一个具有代表性的数据处理算法,具有重要的研究意义。随着大数据与云计算的发展,流连接算法在大数据平台上的实现正面临着新的问题和挑战,主要集中体现在以下三个方面:(1)现有的流连接算法如何在大数据平台上进行设计与实现;(2)如何提高流连接算法的效率;(3)如何结合大数据平台上实现并行化连接。本文对以上问题进行了深入的分析和研究,对流数据处理框架及其相关技术进行充分的调研。首先对传统流连接算法的窗口更新方式做了改进,提出了一种针对数据流量不稳定的窗口更新的流连接算法。通过计算连接代价模型,周期性地选择合适的更新周期;同时,针对流连接并行化,通过结合流连接语义本文设计了一种基于一致性Hash的数据流分发策略,该策略首先对连接语义进行分析生成连接计划,选择出最优的连接方案,根据连接关系将流数据分发到相同的节点中进行计算,在大数据平台上实现并行化连接。由于流数据本身具有无限且连续变化的特点,连接算法的时间和空间复杂度急剧增加,不能满足实际的应用需求,本文采用流式计算平台Storm,对流连接算法并行化实现进行了设计,最后通过实验说明算法在结果输出量、实时性等方面有较好的性能。

关键词：大数据流查询流连接流计算平台

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于微博的灾害信息快速提取方法研究

引用

测绘地理信息 2020年第5期45卷 133-137页

作者：郑嵘张晨晓乐鹏梁哲恒武汉大学测绘遥感信息工程国家重点实验室湖北武汉430079 武汉大学遥感信息工程学院湖北武汉430079 广东南方数码科技股份有限公司广东广州510665

提出了一个灾害微博的实时处理框架,框架基于Spark流计算平台,利用从灾害历史微博数据中提取的信息对获取到的灾害微博进行实时分类统计。以2017年九寨沟地震和林芝地震为例,基于爬虫、文本预处理、文本分类模型等方法实现了灾害微博实... 详细信息

提出了一个灾害微博的实时处理框架,框架基于Spark流计算平台,利用从灾害历史微博数据中提取的信息对获取到的灾害微博进行实时分类统计。以2017年九寨沟地震和林芝地震为例,基于爬虫、文本预处理、文本分类模型等方法实现了灾害微博实时处理原型系统,并通过实验验证了原型系统的可用性。

关键词：灾害应急响应社交媒体实时处理文本分类流计算平台

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：