检索结果-南通市图书馆

流式大数据平台下的弹性数据迁移能效优化策略

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

通信学报 2024年第2期45卷 188-200页

作者：蒲勇霖许小龙于炯李梓杨国冰磊南京信息工程大学软件学院江苏南京210044 新疆大学软件学院新疆乌鲁木齐830002 湖北文理学院计算机工程学院湖北襄阳441053

针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定... 详细信息

针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。

关键词：流式计算负载预测资源约束数据迁移能效

在线全文

学校读者我要写书评

暂无评论

基于Storm平台的数据迁移合并节能策略

通信学报 2019年第12期40卷 68-85页

作者：蒲勇霖于炯鲁亮李梓杨卞琛廖彬新疆大学信息科学与工程学院新疆乌鲁木齐830046 中国民航大学计算机科学与技术学院天津300300 广东金融学院互联网金融与信息工程学院广东广州510521 新疆财经大学统计与信息学院新疆乌鲁木齐830012

针对Storm存在低效率、高能耗的问题,通过分析Storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于Storm平台的数据迁移合并节能策略(DMM-Storm),包括资源约束算法、数据迁... 详细信息

针对Storm存在低效率、高能耗的问题,通过分析Storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于Storm平台的数据迁移合并节能策略(DMM-Storm),包括资源约束算法、数据迁移合并算法和节点降压算法。其中资源约束算法根据资源约束模型,判断工作节点是否允许数据的迁移;数据迁移合并算法根据最优线程数据重组原则,设计了最优的线程数据迁移方法;节点降压算法根据节点降压限制条件,降低了工作节点的电压。实验结果表明,与现有的节能策略相比,执行DMM-Storm在不影响集群性能的前提下,有效降低了能耗。

关键词：大数据 Storm 资源约束数据迁移能耗

storm平台下工作节点的内存电压调控节能策略

在线全文

学校读者我要写书评

暂无评论

通信学报 2018年第10期39卷 97-117页

作者：蒲勇霖于炯鲁亮卞琛廖彬李梓杨新疆大学软件学院新疆乌鲁木齐830008 新疆大学信息科学与工程学院新疆乌鲁木齐830046 新疆财经大学统计与信息学院新疆乌鲁木齐830012 新疆润物网络有限公司新疆乌鲁木齐830002

针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种s... 详细信息

针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种storm平台下工作节点的内存电压调控节能策略(WNDVR-storm,energy-efficient strategy for work node by dram voltage regulation in storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了2种节能算法。最后根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明,该策略能有效降低能耗,且制约条件越小节能效率越高。

关键词：大数据流式计算 storm 关键路径内存电压能耗

在线全文

学校读者我要写书评

暂无评论

基于Storm平台的数据恢复节能策略

计算机研究与发展 2021年第3期58卷 479-496页

作者：蒲勇霖于炯鲁亮李梓杨国冰磊廖彬新疆大学信息科学与工程学院乌鲁木齐830046 中国民航大学计算机科学与技术学院天津300300 新疆财经大学统计与数据科学学院乌鲁木齐830012

作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并... 详细信息

作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm,DR-Storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-Storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比,DR-Storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.

关键词：大数据流式计算 Storm 信息监控数据恢复能耗

Storm平台下的线程重分配与数据迁移节能策略

在线全文

学校读者我要写书评

暂无评论

软件学报 2021年第8期32卷 2557-2579页

作者：蒲勇霖于炯鲁亮李梓杨卞琛廖彬新疆大学信息科学与工程学院新疆乌鲁木齐830046 中国民航大学计算机科学与技术学院天津300300 广东金融学院互联网金融与信息工程学院广东广州510521 新疆财经大学统计与数据科学学院新疆乌鲁木齐830012

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模... 详细信息

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

关键词：大数据流式计算实时性资源约束数据迁移能耗

Flink环境下基于负载预测的弹性资源调度策略

在线全文

学校读者我要写书评

暂无评论

通信学报 2020年第10期41卷 92-108页

作者：李梓杨于炯王跃飞卞琛蒲勇霖张译天刘宇新疆大学软件学院新疆乌鲁木齐830008 新疆大学信息科学与工程学院新疆乌鲁木齐830046 成都大学计算机学院四川成都610106 广东金融学院互联网金融与信息工程学院广东广州510521

为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略。首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化... 详细信息

为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略。首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移。实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销。

关键词：流式计算资源调度负载预测性能瓶颈 Flink

基于流网络的Flink平台弹性资源调度策略

在线全文

学校读者我要写书评

暂无评论

通信学报 2019年第8期40卷 85-101页

作者：李梓杨于炯卞琛张译天蒲勇霖王跃飞鲁亮新疆大学信息科学与工程学院新疆乌鲁木齐830046 新疆大学软件学院新疆乌鲁木齐830008 广东金融学院互联网金融与信息工程学院广东广州510521 中国民航大学计算机科学与技术学院天津300300

为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度... 详细信息

为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移。实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间。由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力。

关键词：流式计算资源调度弹性集群负载迁移 Flink

面向大规模图数据的关键词覆盖最优路径规划方法

在线全文

学校读者我要写书评

暂无评论

通信学报 2023年第9期44卷 205-217页

作者：李梓杨陈鹏程于炯蒲勇霖何贞贞李雪郑世杰新疆大学软件学院新疆乌鲁木齐830002 新疆大学信息科学与工程学院新疆乌鲁木齐830017 南京信息工程大学软件学院江苏南京210044

针对个性化自驾游路径规划中存在规划路径无法满足不同用户个性化需求的问题,提出了基于不同用户兴趣点的关键词覆盖最优路径规划方法。首先,建立路网信息预处理模型并通过路网信息预处理算法绘制路网信息查询图;其次,使用倒排索引算法... 详细信息

针对个性化自驾游路径规划中存在规划路径无法满足不同用户个性化需求的问题,提出了基于不同用户兴趣点的关键词覆盖最优路径规划方法。首先,建立路网信息预处理模型并通过路网信息预处理算法绘制路网信息查询图;其次,使用倒排索引算法根据用户设定的个性化需求对路网信息查询图进行剪枝,在减小大规模数据处理内存开销的同时提升了关键词覆盖最优路径规划方法的执行效率;最后,通过双向并行拓展方式的关键词覆盖最优路径拓展算法实现满足用户兴趣点的个性化旅游路径推荐。实验结果表明,关键词覆盖最优路径规划方法不仅实现了满足用户个性化需求的路径规划,而且通过剪枝和双向并行拓展的方式提高了方法的执行效率。

关键词：图数据路径规划动态规划倒排索引算法双向并行拓展

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于流网络的流式计算动态任务调度策略

计算机应用 2018年第9期38卷 2560-2567页

作者：李梓杨于炯卞琛鲁亮蒲勇霖新疆大学信息科学与工程学院乌鲁木齐830046 新疆大学软件学院乌鲁木齐830008

针对大数据流式计算平台中输入数据流速急剧上升所导致的计算延迟升高问题,提出了基于流网络模型的动态调度策略,并将其应用于Flink数据流计算平台。首先,通过定义有向无环图(DAG)中每条边的容量和流量将其转化为流网络模型,并通过容量... 详细信息

针对大数据流式计算平台中输入数据流速急剧上升所导致的计算延迟升高问题,提出了基于流网络模型的动态调度策略,并将其应用于Flink数据流计算平台。首先,通过定义有向无环图(DAG)中每条边的容量和流量将其转化为流网络模型,并通过容量检测算法确定每条边的容量值;然后,通过最大流算法计算对应的增进网络和优化路径,从而在输入速率上升阶段提升集群的吞吐量,并通过评估时空代价论证了算法的可行性;最后,讨论了重要参数对算法执行效果的影响,并通过实验得出了在不同类型的作业中推荐的参数取值。经实验验证得出:所提算法与Flink平台现有的任务调度策略相比,在输入速率上升阶段对不同作业类型中集群吞吐量的优化比均高于16.12%。实验结果表明动态调度策略在满足任务延迟约束的前提下有效提高了集群的吞吐量。

关键词：数据流任务调度流网络最大流 Apache Flink