检索结果-南通市图书馆

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

面向超级计算机系统的可视化综述

计算机辅助设计与图形学学报 2024年第3期36卷 321-335页

作者：吕斐陈长建张嘉鹏冯冼唐卓湖南大学信息科学与工程学院长沙410082 湖南省气象信息中心长沙410118

随着科技飞速发展,超级计算机系统不断向着更大规模迈进,给系统使用和维护带来困难.可视化技术以直观易懂的方式展示超级计算机系统的运行状态、异常情况等,让用户更加深入地理解系统内部运行机制,有助于更好地使用和优化系统.通过文献... 详细信息

随着科技飞速发展,超级计算机系统不断向着更大规模迈进,给系统使用和维护带来困难.可视化技术以直观易懂的方式展示超级计算机系统的运行状态、异常情况等,让用户更加深入地理解系统内部运行机制,有助于更好地使用和优化系统.通过文献调研,分析了超级计算机系统可视化的相关工作,并根据系统使用流程将其分为状态监控、性能优化和系统维护3个方面.分析表明,可视化在状态监控方面可帮助分析系统运行时内部进程和数据的状态;在性能优化方面可帮助定位性能瓶颈并优化;在系统维护方面可帮助发现运行异常以及对异常溯源.最后,详细阐述了未来超级计算机系统可视化在大规模数据处理、全局优化、下游任务迁移等方向上面临的机遇和挑战.

关键词：超级计算机可视化状态监控性能优化系统维护

维普期刊数据库

同方期刊数据库

面向超级计算机的节点异常诊断与预测技术研究

在线全文

学校读者我要写书评

暂无评论

面向超级计算机的节点异常诊断与预测技术研究

作者：邵明山山东大学

学位级别：硕士

随着超级计算机的快速发展,计算集群的规模不断增加,其计算性能正从千万亿级迈入百亿亿级。然而,伴随着越来越大的规模,系统节点的故障频率不断提升,平均故障间隔时间也将减少,这大大影响了超级计算机的系统稳定性和可靠性。日志是一种... 详细信息

随着超级计算机的快速发展,计算集群的规模不断增加,其计算性能正从千万亿级迈入百亿亿级。然而,伴随着越来越大的规模,系统节点的故障频率不断提升,平均故障间隔时间也将减少,这大大影响了超级计算机的系统稳定性和可靠性。日志是一种记录系统运行状态和了解系统行为的重要工具,它记录了内核及其他程序产生的提示信息和错误信息。传统上,开发人员或运维人员往往通过人工方式检查日志,以定位异常。然而,随着系统规模和复杂性不断提升,产生的日志数量在飞速增加,使得人工检查已经不再适用。因此,基于日志对节点异常进行检测的需求十分迫切。针对以上问题,本文对超级计算机的节点异常诊断与预测技术进行研究,设计并实现了一个的节点异常诊断与预测系统,来帮助诊断超级计算机中的节点异常,并对可能发生的异常进行有效预测。首先,设计了基于日志的节点故障诊断方法,由于节点故障通常会产生异常日志并在随后被修复和重启,根据这个特征,本文通过搜索重启日志定位节点重启时间,然后向前回溯检测是否存在具有异常特征的日志,来判断节点是否发生故障。其次,提出了基于节点I/O数据的节点性能降级诊断方法,从作业的角度出发,通过分析大规模作业各节点带宽比,找出可能存在异常的节点,然后根据共享节点的作业验证是否存在干扰,最终判断节点是否发生性能降级。然后,提出了日志解析算法,利用正则表达式匹配与日志序列比相结合的方式,将非结构化日志提取为结构化模板,并用于日志序列的匹配,将每条日志映射为一个事件,使连续的日志流转化为事件序列。使用滑动窗口对事件序列进行切片,统计各个事件的发生次数,生成事件计数向量作为特征向量。在数据输入模型前,采用欠采样的方法平衡正负样本。最后,本文通过训练五个基础模型,利用软投票的方式构建集成模型来进行节点异常预测。本文在神威·太湖之光和神威新一代超级计算机收集了约7.4亿条日志数据,用于对所提出的方法和模型进行评估。实验表明,本文提出的日志解析方法能有效提取模板并进行精准匹配,节点异常诊断系统共诊断出481次节点故障以及7056次节点性能降级,节点异常预测模型对节点故障和节点性能降级的预测分别达到了 0.995和0.997的精确率。

关键词：超级计算机节点异常异常检测异常预测机器学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

超级计算机

少儿科技 2012年第11期 21-22页

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于机器学习的超级计算机故障预测技术研究

基于机器学习的超级计算机故障预测技术研究

作者：员民太原科技大学

学位级别：硕士

在现代科学研究和实践中,超级计算机扮演着至关重要的角色,我国的超级计算机也一直处于世界领先的水平,并已成功应用于许多领域。随着计算能力的提升,超级计算机的规模和复杂度也在不断增加,这给系统的可靠性带来了巨大挑战,准确的故障... 详细信息

在现代科学研究和实践中,超级计算机扮演着至关重要的角色,我国的超级计算机也一直处于世界领先的水平,并已成功应用于许多领域。随着计算能力的提升,超级计算机的规模和复杂度也在不断增加,这给系统的可靠性带来了巨大挑战,准确的故障预测可以帮助规避潜在风险,提高了超级计算机的稳定性和可维护性。超级计算机运行过程中产生的故障日志数据中包含着宝贵的故障信息,能够为故障预测模型的建立提供了可靠的数据源。本文以山西省吕梁市超级计算中心天河二号超级计算机为对象,基于其故障日志数据对超级计算机的故障预测技术进行了研究,提出了一种使用了HDBSCAN聚类和CNN-Bi LSTM-Attention机制的故障预测模型。该模型首先基于HDBSCAN聚类算法对故障日志特征进行分类处理,随后将故障日志进行特征分析,得到该系统的时空分布特征,为后续的故障预测提供了分析基础。最后采用CNNBi LSTM-Attention模型对故障日志数据进行了特征提取,将时序信息和特征信息结合起来,从而实现对故障时间和故障节点的预测。根据实验结果可证明:本研究所提出的故障预测方法相较于传统的机器学习方法,有特征易提取、时间序列特征敏感度高且对局部特征提取充分等优势。对于故障时间的预测,本方法有较高的预测精度,且对于故障节点位置的预测精度也不低于92.1%,有效的提高了超级计算机故障预测的准确性、可靠性和稳定性。

关键词：超级计算机机器学习故障预测聚类算法 LSTM 注意力机制

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

超级计算机

求知导刊 2013年第1期 24-25页

超级计算机通常是指由数百数千甚至更多的处理器(机)组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。为了帮助大家更好的理解超级计算机的运算速度我们把普通计算机的运算速度比做成人的走路速度,那么超级计算机就达... 详细信息

超级计算机通常是指由数百数千甚至更多的处理器(机)组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。为了帮助大家更好的理解超级计算机的运算速度我们把普通计算机的运算速度比做成人的走路速度,那么超级计算机就达到了火箭的速度。在这样的运算速度前提下,人们可以通过数值模拟来预测和解释以前无法实验的自然现象。

关键词：超级计算机美国处理器电子数字计算机美利坚合众国北美洲运算速度天河一号