检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

量子计算系统软件研究综述

软件学报 2024年第1期35卷 1-18页

作者：谢磊翟季冬清华大学计算机科学与技术系北京100084

量子计算理论上有望解决诸多经典难解问题,近年来量子计算机的快速发展正推动这一理论进入实践.然而,当前硬件中繁多的错误会造成计算结果出错,严重限制了量子计算机解决实际问题的能力.量子计算系统软件位于应用与硬件之间,充分挖掘系... 详细信息

量子计算理论上有望解决诸多经典难解问题,近年来量子计算机的快速发展正推动这一理论进入实践.然而,当前硬件中繁多的错误会造成计算结果出错,严重限制了量子计算机解决实际问题的能力.量子计算系统软件位于应用与硬件之间,充分挖掘系统软件在硬件错误减缓方面的潜力,对于近期实现有实用价值的量子计算而言至关重要.由此,近期涌现了一批量子计算系统软件研究工作.将这些工作归纳入编译器、运行时系统和调试器3个范畴,通过对它们的分析总结,梳理量子计算系统软件的研究现状,揭示其在硬件错误减缓方面的重要作用.并对未来的研究方向进行展望.

关键词：量子计算系统软件嘈杂中规模量子编译运行时调试

在线全文

学校读者我要写书评

暂无评论

决策树码率自适应算法的无数据蒸馏框架

计算机学报 2024年第1期47卷 113-130页

作者：黄天驰李朝阳张睿霄李文哲孙立峰清华大学计算机科学与技术系北京100084

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从... 详细信息

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从头学习策略的特点,表现出良好的性能,并逐渐取代需要繁琐调优的启发式ABR算法,成为研究领域的热点.然而,这些算法使用神经网络推理,导致模型参数较多,整体计算量较大,使得在实际场景中难以部署.因此,以往的研究提出了决策树蒸馏方案,即使用轻量级的决策树来提取基于学习的ABR算法的专家策略,并在线上部署这些决策树.然而,本文的实验结果表明,过去的蒸馏框架忽略了训练环境对蒸馏后策略的影响,导致策略的泛化能力较差.因此,本文提出了一种名为NIA(data-free Network-environmental Imitationbased rate Adaptation framework)的新型无数据蒸馏框架,用于生成具有更好泛化性能的决策树A BR算法.NIA通过网络环境生成模块构建多个人工网络环境,并在每次迭代训练前使用环境选择模块来选择适合的网络场景,然后与该场景进行交互,利用基于学生驱动的模仿学习算法完成决策树的蒸馏过程.本文还设计了完整的评测平台测试NIA的性能.实验表明,NIA在各种带宽数据集上展现出良好的QoE性能和泛化性能:(1)相较于启发式算法,在QoE指标上提升了1%~46%;(2)与以往的决策树蒸馏方案相比,在低带宽场景下表现相当,但在高带宽场景下提升了近1倍;(3)总体性能接近甚至超过基于学习的算法(即专家策略)的表现.

关键词：流媒体码率自适应算法无数据蒸馏

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第4期61卷 809-823页

作者：冯杨洋汪庆谢旻晖舒继武清华大学计算机科学与技术系北京100084

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算... 详细信息

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

关键词： ChatGPT 大模型存储系统容错大模型训练系统

在线全文

学校读者我要写书评

暂无评论

基于GPU直访存储架构的推荐模型预估系统

计算机研究与发展 2024年第3期61卷 589-599页

作者：谢旻晖陆游游冯杨洋舒继武清华大学计算机科学与技术系北京100084

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在... 详细信息

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在着CPU-GPU通信开销大和额外的内存拷贝2个问题,这增加了嵌入层的访存延迟,进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统GDRec.GDRec的核心思想是在嵌入参数的访问路径上移除CPU参与,由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访,GDRec利用统一计算设备架构(compute unified device architecture,CUDA)提供的统一虚拟地址特性,实现GPU核心函数(kernel)对主机内存的细粒度访问,并引入访问合并与访问对齐2个机制充分优化访存性能;对于外存直访,GDRec实现了一个轻量的固态硬盘(solid state disk,SSD)驱动程序,允许GPU从SSD中直接读取数据至显存,避免内存上的额外拷贝,GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明,GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIA HugeCTR,可以提升多达1.9倍的吞吐量.

关键词： GPU直访存储参数存储推荐系统预估系统存储系统

在线全文

学校读者我要写书评

暂无评论

云原生数据库综述

软件学报 2024年第2期35卷 899-926页

作者：董昊文张超李国良冯建华清华大学计算机科学与技术系北京100084

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据... 详细信息

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.深入分析云原生数据库系统的架构和技术.首先将云原生OLTP和云原生OLAP的数据库架构按照资源分离模式的差异分别进行归类分析,并对比各类架构的优势与局限.其次,基于计算存储分离的架构,按照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生OLTP关键技术(数据组织、副本一致性、主备同步、故障恢复以及混合负载处理)和云原生OLAP关键技术(存储管理、查询处理、无服务器感知计算、数据保护以及机器学习优化).最后,总结现有云原生数据库的技术挑战并展望未来研究方向.

关键词：云原生数据库计算存储分离数据库即服务

在线全文

学校读者我要写书评

暂无评论

智能数据可视分析技术综述

软件学报 2024年第1期35卷 356-404页

作者：骆昱宇秦雪迪谢宇鹏李国良清华大学计算机科学与技术系北京100084 青海大学计算机技术与应用系青海西宁810016

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.... 详细信息

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.

关键词：数据可视化可视分析智能数据可视分析数据管理人工智能

在线全文

学校读者我要写书评

暂无评论

面向小样本学习的轻量化知识蒸馏

软件学报 2024年第5期35卷 2414-2429页

作者：陈嘉言任东东李文斌霍静高阳南京大学计算机科学与技术系江苏南京210023

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现... 详细信息

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

关键词：深度学习小样本学习图像识别知识蒸馏模型轻量化

在线全文

学校读者我要写书评

暂无评论

动态三维场景重建研究综述

图学学报 2024年第1期45卷 14-25页

作者：黄家晖穆太江清华大学计算机科学与技术系北京100084

三维重建技术旨在通过传感器输入,恢复所观测场景的数字化三维表示,是计算机图形学与视觉领域的重要研究方向,在可视化、模拟、路线规划等各类任务上都有重要应用。相比于静态场景,动态场景额外引入了时间维度,对应的重建任务不仅需要... 详细信息

三维重建技术旨在通过传感器输入,恢复所观测场景的数字化三维表示,是计算机图形学与视觉领域的重要研究方向,在可视化、模拟、路线规划等各类任务上都有重要应用。相比于静态场景,动态场景额外引入了时间维度,对应的重建任务不仅需要重构每帧细节几何,还需刻画目标随着时间变化的趋势与关联关系用于下游分析任务,为重建算法设计带来了更大的挑战。然而,目前学界就动态场景重建的讨论依然仅处于起步阶段,且关于现有方法的系统性总结也较为欠缺。为了填补上述空缺、进一步启发算法设计,对学界当前最新的动态三维场景重建技术进行整理和归纳,对动态三维场景重建问题及其通用求解框架进行一般性的定义,从动态三维表示方式、优化框架方面对已有技术进行综述,并针对结构化的特殊场景讨论对应的重建方法与处理方式。最终,介绍相关数据集,并对动态三维场景重建现存的问题进行分析总结,对未来工作进行展望。

关键词：动态三维重建研究综述动态场景表示三维建模结构化场景

在线全文

学校读者我要写书评

暂无评论

异步感知的异构高性能计算机性能预测方法

计算物理 2024年第1期41卷 40-51页

作者：金煜阳马子轩翟季冬清华大学计算机科学与技术系北京100084

针对异步策略设计难的问题,提出面向异构超级计算机的高效异步性能预测方法,解耦异步与同步执行的性能,通过层次化建模等技术实现快速精确的性能预测,指导异步策略设计与性能优化。在国产神威异构高性能计算机上,以高性能计算领域典型... 详细信息

针对异步策略设计难的问题,提出面向异构超级计算机的高效异步性能预测方法,解耦异步与同步执行的性能,通过层次化建模等技术实现快速精确的性能预测,指导异步策略设计与性能优化。在国产神威异构高性能计算机上,以高性能计算领域典型应用为例,验证所提出建模方法的准确性和高效性。实验结果表明:本方法平均预测精度达到96.61%,预测效率在毫秒级。

关键词：异构高性能计算机性能预测异步策略