检索结果-南通市图书馆

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第4期61卷 809-823页

作者：冯杨洋汪庆谢旻晖舒继武清华大学计算机科学与技术系北京100084

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算... 详细信息

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

关键词： ChatGPT 大模型存储系统容错大模型训练系统

在线全文

学校读者我要写书评

暂无评论

决策树码率自适应算法的无数据蒸馏框架

计算机学报 2024年第1期47卷 113-130页

作者：黄天驰李朝阳张睿霄李文哲孙立峰清华大学计算机科学与技术系北京100084

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从... 详细信息

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从头学习策略的特点,表现出良好的性能,并逐渐取代需要繁琐调优的启发式ABR算法,成为研究领域的热点.然而,这些算法使用神经网络推理,导致模型参数较多,整体计算量较大,使得在实际场景中难以部署.因此,以往的研究提出了决策树蒸馏方案,即使用轻量级的决策树来提取基于学习的ABR算法的专家策略,并在线上部署这些决策树.然而,本文的实验结果表明,过去的蒸馏框架忽略了训练环境对蒸馏后策略的影响,导致策略的泛化能力较差.因此,本文提出了一种名为NIA(data-free Network-environmental Imitationbased rate Adaptation framework)的新型无数据蒸馏框架,用于生成具有更好泛化性能的决策树A BR算法.NIA通过网络环境生成模块构建多个人工网络环境,并在每次迭代训练前使用环境选择模块来选择适合的网络场景,然后与该场景进行交互,利用基于学生驱动的模仿学习算法完成决策树的蒸馏过程.本文还设计了完整的评测平台测试NIA的性能.实验表明,NIA在各种带宽数据集上展现出良好的QoE性能和泛化性能:(1)相较于启发式算法,在QoE指标上提升了1%~46%;(2)与以往的决策树蒸馏方案相比,在低带宽场景下表现相当,但在高带宽场景下提升了近1倍;(3)总体性能接近甚至超过基于学习的算法(即专家策略)的表现.

关键词：流媒体码率自适应算法无数据蒸馏

在线全文

学校读者我要写书评

暂无评论

云原生数据库综述

软件学报 2024年第2期35卷 899-926页

作者：董昊文张超李国良冯建华清华大学计算机科学与技术系北京100084

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据... 详细信息

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.深入分析云原生数据库系统的架构和技术.首先将云原生OLTP和云原生OLAP的数据库架构按照资源分离模式的差异分别进行归类分析,并对比各类架构的优势与局限.其次,基于计算存储分离的架构,按照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生OLTP关键技术(数据组织、副本一致性、主备同步、故障恢复以及混合负载处理)和云原生OLAP关键技术(存储管理、查询处理、无服务器感知计算、数据保护以及机器学习优化).最后,总结现有云原生数据库的技术挑战并展望未来研究方向.

关键词：云原生数据库计算存储分离数据库即服务

在线全文

学校读者我要写书评

暂无评论

面向小样本学习的轻量化知识蒸馏

软件学报 2024年第5期35卷 2414-2429页

作者：陈嘉言任东东李文斌霍静高阳南京大学计算机科学与技术系江苏南京210023

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现... 详细信息

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

关键词：深度学习小样本学习图像识别知识蒸馏模型轻量化

在线全文

学校读者我要写书评

暂无评论

智能数据可视分析技术综述

软件学报 2024年第1期35卷 356-404页

作者：骆昱宇秦雪迪谢宇鹏李国良清华大学计算机科学与技术系北京100084 青海大学计算机技术与应用系青海西宁810016

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.... 详细信息

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.

关键词：数据可视化可视分析智能数据可视分析数据管理人工智能

在线全文

学校读者我要写书评

暂无评论

基于全局局部协同的非均匀图像去雾方法

自动化学报 2024年第7期50卷 1333-1344页

作者：罗小同杨汶锦曲延云谢源厦门大学信息学院计算机科学与技术系厦门361005 华东师范大学计算机科学与技术学院上海200063

近年来,基于卷积神经网络(Convolutional neural network,CNN)的图像去雾方法在合成数据集上取得了显著的进展,但由于真实场景中存在雾分布不均的问题,卷积运算的局部感受野难以有效捕获到上下文指导信息,从而导致全局结构信息丢失.因此... 详细信息

近年来,基于卷积神经网络(Convolutional neural network,CNN)的图像去雾方法在合成数据集上取得了显著的进展,但由于真实场景中存在雾分布不均的问题,卷积运算的局部感受野难以有效捕获到上下文指导信息,从而导致全局结构信息丢失.因此,真实场景下的图像去雾任务面临着巨大的挑战.考虑到Transformer具有捕获长距离语义信息依赖关系的优势,有利于引导全局结构信息重建.然而,标准Transformer结构的高计算复杂度阻碍了其在图像恢复中的应用.针对上述提到的问题,提出一个由Transformer和卷积神经网络组成的双分支协同非均匀图像去雾网络***分支用于提取全局结构信息,同时设计稀疏自注意力模块(Sparse self-attention modules,SSM)以降低计算复杂度.卷积神经网络分支用于获取局部信息,从而恢复纹理细节.在真实非均匀有雾场景下的实验结果表明,该方法不管是在客观评价还是在主观视觉效果方面均达到优异的性能.

关键词：图像去雾卷积神经网络 Transformer 特征融合稀疏自注意力

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于区块链构建安全去中心化的联邦学习方案

中国科学：信息科学 2024年第2期54卷 316-334页

作者：王恺祺洪睿琦毛云龙仲盛南京大学计算机科学与技术系南京210023

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导... 详细信息

联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾向于选择诚实的训练.

关键词：联邦学习安全去中心化网络区块链数据消费激励机制

处理含大量非分层介质结构的悬浮随机行走电容提取算法

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年第3期36卷 435-442页

作者：宋明烨杨明喻文健清华大学计算机科学与技术系北京100084 北京信息科学与技术国家研究中心北京100084

为了解决包含大量非分层介质的随机行走电容提取算法预处理时间过长的问题,提出一种优化算法.本文算法一共有2步:首先基于八分块立方体即时采样技术,提出处理复杂非分层介质的等效介电常数计算方法;然后基于网格的空间管理技术,减少随... 详细信息

为了解决包含大量非分层介质的随机行走电容提取算法预处理时间过长的问题,提出一种优化算法.本文算法一共有2步:首先基于八分块立方体即时采样技术,提出处理复杂非分层介质的等效介电常数计算方法;然后基于网格的空间管理技术,减少随机行走电容提取的预处理时间.针对不同的电容提取应用场景,还提供了选择不同非分层介质空间管理策略的建议.在多个来自集成电路设计版图的互连结构上的实验结果表明,所提算法在保证电容提取精度与随机行走运行效率的同时,显著地加快了非分层介质空间管理构造以及随机行走算法的预处理时间;在含有超过70万非分层介质的测例上,与现有算法相比,该算法使非分层介质的空间管理构造时间最多加速420倍,并使整个预处理时间从114s减少到30s.

关键词：电容提取随机行走非分层介质空间管理

在线全文

学校读者我要写书评

暂无评论

Navi:基于自然语言交互的数据分析系统

软件学报 2024年第3期35卷 1194-1206页

作者：谢宇鹏骆昱宇冯建华青海大学计算机技术与应用系青海西宁810016 香港科技大学(广州) 广东广州511400 清华大学计算机科学与技术系北京100084

随着大数据时代的到来,数据分析的作用日益显著.它能够从海量数据中发现有价值的信息,从而更有效地指导用户决策.然而,数据分析流程中存在三大挑战:分析流程高耦合、交互接口种类多和探索分析高耗时.为了应对上述挑战,提出了基于自然语... 详细信息

随着大数据时代的到来,数据分析的作用日益显著.它能够从海量数据中发现有价值的信息,从而更有效地指导用户决策.然而,数据分析流程中存在三大挑战:分析流程高耦合、交互接口种类多和探索分析高耗时.为了应对上述挑战,提出了基于自然语言交互的数据分析系统Navi.该系统采用模块化的设计原则,抽象出主流数据分析流程的3个核心功能模块:数据查询、可视化生成和可视化探索模块,从而降低系统设计的耦合度.同时,Navi以自然语言作为统一的交互接口,并通过一个任务调度器实现了各功能模块的有效协同.此外,为了解决可视化探索中搜索空间指数级和用户意图不明确的问题,提出了一种基于蒙特卡洛树搜索的可视化自动探索方法,并设计了基于可视化领域知识的剪枝算法和复合奖励函数,提高了搜索效率和结果质量.最后,通过量化实验和用户实验验证了Navi的有效性.

关键词：数据分析数据查询可视化自然语言蒙特卡洛树搜索