检索结果-南通市图书馆

计算机工程与科学 2022年第10期44卷 1753-1761页

作者：唐阳坤鲜港杨文祥喻杰张晓蓉王耀彬西南科技大学计算机科学与技术学院四川绵阳621010 中国空气动力研究与发展中心计算空气动力研究所四川绵阳621050 国防科技大学计算机学院湖南长沙410073

超级计算机的规模不断扩大,与此同时,科学应用的复杂性也在不断增加,这导致了超级计算机上许多作业失败。作业失败会造成资源浪费,排队作业等待时间延长,严重影响系统的执行效率。提前预测作业失败,就可以采取必要的措施提升系统资源利... 详细信息

超级计算机的规模不断扩大,与此同时,科学应用的复杂性也在不断增加,这导致了超级计算机上许多作业失败。作业失败会造成资源浪费,排队作业等待时间延长,严重影响系统的执行效率。提前预测作业失败,就可以采取必要的措施提升系统资源利用率和系统执行效率,这对未来的E级超级计算机至关重要。为此,尝试研究从已知的传统特征和构建特征中预测作业失败,发现能够反映用户工作行为模式和提交行为模式的特征及处理方式。通过结合行为特征和传统特征,提出基于树结构模型的综合框架来预测作业失败。实验结果表明,预测效果优于其他相关方法。

关键词：系统执行效率作业日志分析用户行为作业失败预测机器学习

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向混部云失败批处理作业的预测算法

引用

国防科技大学学报 2022年第5期44卷 71-79页

作者：林伟伟石方李毓睿刘发贵刘捷彭绍亮王子骏华南理工大学计算机科学与工程学院广东广州510006 鹏程实验室广东深圳518066 湖南大学信息科学与工程学院湖南长沙410082 克莱姆森大学计算学院美国克莱姆森29634

为了降低混部云失败批处理作业的风险,使用K-means聚类算法将批处理作业分为四类,在分类的基础上提出了二层嵌套分类模型(two-layer nested classification model,TLNM),实现了基于TLNM的预测算法。基于Ali Trace 2018数据集上的实验结... 详细信息

为了降低混部云失败批处理作业的风险,使用K-means聚类算法将批处理作业分为四类,在分类的基础上提出了二层嵌套分类模型(two-layer nested classification model,TLNM),实现了基于TLNM的预测算法。基于Ali Trace 2018数据集上的实验结果表明,该算法的接受者操作特性(receiver operating characteristic,ROC)曲线明显优于其他常用分类器,ROC曲线下面积(即AUC)可以达到0.978,表明该算法具有良好的分类性能。同时召回率可以达到0.951,通过混淆矩阵可以看出TLNM算法能够准确预测出执行失败的批处理作业。

关键词：云计算混部技术作业失败预测资源利用率

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

超级计算机作业失败主动预测方法研究

超级计算机作业失败主动预测方法研究

引用

作者：鲜港西南科技大学

学位级别：硕士

目前,高性能计算技术已应用在科研、工程等方面,为解决超大规模高精度仿真模拟等实际问题提供强大的浮点运算能力支撑,且这一趋势在未来将愈发明显。随着各个领域对能力计算和容量计算的需求不断增长,各个超算中心对高性能硬件设施的投... 详细信息

目前,高性能计算技术已应用在科研、工程等方面,为解决超大规模高精度仿真模拟等实际问题提供强大的浮点运算能力支撑,且这一趋势在未来将愈发明显。随着各个领域对能力计算和容量计算的需求不断增长,各个超算中心对高性能硬件设施的投入越来越大,更新或扩容设备以提升平台的服务能力,同时如何提高资源利用率并降低运营成本成为超算系统和应用稳定高效运行的关键挑战。超级计算机的计算能力已跨入Exa Flops量级,其计算、网络、I/O和存储等系统的结构愈发复杂,可靠性被认为是仅次于并行性和能效管理的第三大挑战。由于故障随时可能发生,任何旨在提升可靠性的措施都面临着必须做出应对的挑战。因此,大量的研究以预测故障为目标,以便在故障发生之前采取缓解措施。这种方式允许在系统仍然完全正常运行时应用缓解措施,从而更容易消除用于故障发生后的数据恢复和存储的昂贵代价。本文针对当前超级计算机中大量作业失败而造成排队作业等待时间延长、资源浪费等问题,通过分析并挖掘作业日志和其他监控信息中与作业状态相关的特征,并且基于机器学习手段实现了作业失败预测方法,提高预测效果,以确保运维人员对可能失败的作业做出及时的应对,提高系统资源利用率。本文针对超级计算机作业失败主动预测方法开展了设计,并解决了一系列关键技术问题,具体研究内容如下:(1)探索了大规模Slurm历史作业日志和其他监控数据,深入分析了作业语义构成信息,基于作业名称和提交路径对作业应用类型进行了定义和细化。在此基础上,继续深入挖掘作业特征属性,实现了不同的作业失败主动预测方法,即作业失败静态预测方法和动态预测方法。两种预测方法结合了超级计算机的特点,利用数据挖掘技术和特征工程的方法,通过建立多种作业失败预测模型以适应不同的作业失败情况,从而提高预测准确率和稳定性。(2)设计了作业失败静态预测方法。基于对作业应用类型的确定,提出了对作业名称和提交路径聚类策略,并探索用户对作业的重复提交行为,将提交路径和用户的提交行为均作为新的预测输入特征。静态预测包含粗粒度预测和细粒度预测,并在预测过程中选择效果最优的算法模型,以适应用户的实际作业情况。实验结果表明,该方法能够达到89.08%的准确率,相较于传统特征进行预测,取得了提升意义的效果。(3)设计了作业失败动态预测方法。该方法建立模型训练时间窗口和预测时间窗口,通过不断更新训练集充分利用了短期内同一应用类型下作业之间的相关性。同时,基于对静态预测方法的研究,提出了适合动态预测的作业名称和作业提交路径聚类策略,该策略根据语义构成的字符优先级进行聚类,并对作业应用的序列相关性提出相应的确定规则。通过建立时间窗口动态选择效果最优的算法模型预测作业失败,实验结果表明,准确率能够达到89.78%,整体的预测效果取得了提升,尤其在特异性和敏感性指标上有较大提升。

关键词：可靠性用户行为作业应用关联性作业失败预测机器学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：