检索结果-南通市图书馆

同方期刊数据库

从BERT到ChatGPT：大模型训练中的存储挑战与技术发展

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年

作者：冯杨洋汪庆谢旻晖舒继武清华大学计算机科学与技术系

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越，引起了工业界和学术界的广泛关注．大模型的参数量在3年内增长数万倍，且仍呈现增长的趋势．首先分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特... 详细信息

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越，引起了工业界和学术界的广泛关注．大模型的参数量在3年内增长数万倍，且仍呈现增长的趋势．首先分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大．然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术．针对大模型训练的存储加速技术包括：1）基于大模型计算模式的分布式显存管理技术，依据大模型计算任务的划分模式和计算任务间的依赖关系，设计模型数据在分布式集群中的划分、存储和传输策略；2）大模型训练访存感知的异构存储技术，借助大模型训练中的访存模式可预测的特性，设计异构设备中的数据预取和传输策略；3）大模型数据缩减技术，针对大模型数据的特征，对模型训练过程中的数据进行缩减．针对大模型训练的存储容错技术包括：1）参数检查点技术，将大模型参数存储至持久化存储介质；2）冗余计算技术，在多张GPU中重复计算相同版本的参数．最后，给出了总结和展望．

关键词： ChatGPT 大模型存储系统容错大模型训练系统

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

动态三维场景重建研究综述

图学学报 2024年第1期45卷 14-25页

作者：黄家晖穆太江清华大学计算机科学与技术系北京100084

三维重建技术旨在通过传感器输入,恢复所观测场景的数字化三维表示,是计算机图形学与视觉领域的重要研究方向,在可视化、模拟、路线规划等各类任务上都有重要应用。相比于静态场景,动态场景额外引入了时间维度,对应的重建任务不仅需要... 详细信息

三维重建技术旨在通过传感器输入,恢复所观测场景的数字化三维表示,是计算机图形学与视觉领域的重要研究方向,在可视化、模拟、路线规划等各类任务上都有重要应用。相比于静态场景,动态场景额外引入了时间维度,对应的重建任务不仅需要重构每帧细节几何,还需刻画目标随着时间变化的趋势与关联关系用于下游分析任务,为重建算法设计带来了更大的挑战。然而,目前学界就动态场景重建的讨论依然仅处于起步阶段,且关于现有方法的系统性总结也较为欠缺。为了填补上述空缺、进一步启发算法设计,对学界当前最新的动态三维场景重建技术进行整理和归纳,对动态三维场景重建问题及其通用求解框架进行一般性的定义,从动态三维表示方式、优化框架方面对已有技术进行综述,并针对结构化的特殊场景讨论对应的重建方法与处理方式。最终,介绍相关数据集,并对动态三维场景重建现存的问题进行分析总结,对未来工作进行展望。

关键词：动态三维重建研究综述动态场景表示三维建模结构化场景

在线全文

学校读者我要写书评

暂无评论

面向三维多目标追踪的运动补偿优化方法

电子学报 2024年第2期52卷 528-539页

作者：王顺洪张昱沈江楠吉建民张燕咏中国科学技术大学计算机科学与技术学院安徽合肥230027

三维多目标追踪是自动驾驶系统中的关键模块之一,其结果的优劣主要取决于追踪模块中数据关联过程的准确度.现有的追踪方法大多从外观特征或运动特征出发计算两帧之间物体的相似度,而基于运动特征的方法通常根据当前帧和历史帧三维包围... 详细信息

三维多目标追踪是自动驾驶系统中的关键模块之一,其结果的优劣主要取决于追踪模块中数据关联过程的准确度.现有的追踪方法大多从外观特征或运动特征出发计算两帧之间物体的相似度,而基于运动特征的方法通常根据当前帧和历史帧三维包围框之间的交并比(Intersection over Union,IoU)进行关联,然而这种方式在观测点物体自身运动时存在严重缺陷.在观测点物体自身进行运动时,观测到的两帧数据将处于不同的局部坐标系,导致无法使用运动模型准确预测已追踪物体在下一帧中的位置.本文针对上述问题,通过引入观测点自身的惯性测量单元(Inertial Measurement Unit,IMU)或全球定位系统(Global Positioning System,GPS)数据,在一帧数据到达之后计算当前帧局部坐标系与上一帧局部坐标系之间的旋转和平移关系,并对已追踪的物体状态按得到的坐标变换关系进行运动补偿,使其抵消因观测点自身运动造成的偏移量.这种运动补偿增强了追踪模块的数据关联环节,提高追踪时三维包围框的关联成功率,降低误关联数量,改善三维多目标追踪的精度.在相关追踪框架及KITTI数据集上的原型验证表明,所提的运动补偿优化方法实现了1%左右的精度提升.

关键词：自动驾驶运动补偿三维多目标追踪运动特征全球定位系统惯性测量单元

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

异步感知的异构高性能计算机性能预测方法

计算物理 2024年第1期41卷 40-51页

作者：金煜阳马子轩翟季冬清华大学计算机科学与技术系北京100084

针对异步策略设计难的问题,提出面向异构超级计算机的高效异步性能预测方法,解耦异步与同步执行的性能,通过层次化建模等技术实现快速精确的性能预测,指导异步策略设计与性能优化。在国产神威异构高性能计算机上,以高性能计算领域典型... 详细信息

针对异步策略设计难的问题,提出面向异构超级计算机的高效异步性能预测方法,解耦异步与同步执行的性能,通过层次化建模等技术实现快速精确的性能预测,指导异步策略设计与性能优化。在国产神威异构高性能计算机上,以高性能计算领域典型应用为例,验证所提出建模方法的准确性和高效性。实验结果表明:本方法平均预测精度达到96.61%,预测效率在毫秒级。

关键词：异构高性能计算机性能预测异步策略

基于动态采样对偶可变形网络的实时视频实例分割

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（工学版） 2024年第2期58卷 247-256页

作者：宋一然周千寓邵志文易冉马利庄上海交通大学计算机科学与工程系上海200240 中国矿业大学计算机科学与技术学院江苏徐州221116

为了更好地利用视频帧中蕴含的时间信息,提升视频实例分割的推理速度,提出动态采样对偶可变形网络(DSDDN). DSDDN使用动态采样策略,根据前、后帧的相似性调整采样策略.对于相似性高的帧,该方法跳过当前帧的推理过程,仅使用前帧分割进行... 详细信息

为了更好地利用视频帧中蕴含的时间信息,提升视频实例分割的推理速度,提出动态采样对偶可变形网络(DSDDN). DSDDN使用动态采样策略,根据前、后帧的相似性调整采样策略.对于相似性高的帧,该方法跳过当前帧的推理过程,仅使用前帧分割进行简单迁移计算.对于相似性低的帧,该方法动态聚合时间跨度更大的视频帧作为输入,对当前帧进行信息增强.在Transformer结构里,该方法额外使用2个可变形操作,避免基于注意力的方法中的指数级计算量.提供精心设计的追踪头和损失函数,优化复杂的网络.在YouTube-VIS数据集上获得了39.1%的平均推理精度与40.2帧/s的推理速度,验证了提出的方法能够在实时视频分割任务上取得精度与推理速度的良好平衡.

关键词：视频实时推理实例分割动态网络对偶可变形网络

在线全文

学校读者我要写书评

暂无评论

代价敏感的指纹可变哈希布谷鸟过滤器

软件学报 2024年

作者：李猛罗文啟戴海鹏王瀚橙顾荣陈贵海南京大学计算机科学与技术系

布谷鸟过滤器是一种空间高效的近似成员资格查询数据结构,在网络系统中被广泛应用于网络路由、网络测量和网络缓存等.然而,传统的布谷鸟过滤器设计并未充分考虑在网络系统中,部分或全部查询集合已知的情况,以及这部分查询具有代价的情况... 详细信息

布谷鸟过滤器是一种空间高效的近似成员资格查询数据结构,在网络系统中被广泛应用于网络路由、网络测量和网络缓存等.然而,传统的布谷鸟过滤器设计并未充分考虑在网络系统中,部分或全部查询集合已知的情况,以及这部分查询具有代价的情况.这导致现有的布谷鸟过滤器在该情况下性能无法达到最优.为此,我们设计了指纹可变哈希布谷鸟过滤器VHCF. VHCF提出了指纹可变哈希技术,感知已知的查询集合及其代价,通过为每个哈希桶搜索最优指纹哈希函数,从而大幅降低误判代价.随后,每个哈希桶的最优指纹哈希函数会被独立地记录进入每个哈希桶内的哈希索引单元.此外,本文提出了一种单哈希的技术用于降低引入指纹可变哈希技术导致的额外计算开销.本文还对VHCF的操作复杂度和误判率进行了理论分析.最后,实验和理论结果都一致表明,VHCF在保证查询吞吐量相当的情况下,取得了比现有布谷鸟过滤器及其变种都要低的误判率.特别的,在保持指纹长度相同的情况下, VHCF只需为每个哈希索引单元分配1-2比特,即可相比标准布谷鸟过滤器降低误判率2-8倍.

关键词：布谷鸟过滤器代价敏感集合成员查询误判率

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

无锁并发布谷鸟过滤器

软件学报 2024年

作者：王瀚橙陈志鹏戴海鹏顾荣 KIM Chaewon 陈贵海南京大学计算机科学与技术系

布谷鸟过滤器是一种高效的概率型数据结构,该数据结构可以快速判断某个元素是否存在于给定集合中,被广泛应用于计算机网络、物联网应用以及数据库系统中.在实践中,上述系统通常需要处理海量数据以及大量并发请求.实现支持高并发的布谷... 详细信息

布谷鸟过滤器是一种高效的概率型数据结构,该数据结构可以快速判断某个元素是否存在于给定集合中,被广泛应用于计算机网络、物联网应用以及数据库系统中.在实践中,上述系统通常需要处理海量数据以及大量并发请求.实现支持高并发的布谷鸟过滤器可以显著提升系统吞吐以及数据处理能力,对提升系统性能至关重要.为此,本文设计了一个支持无锁并发的布谷鸟过滤器.该过滤器通过本文提出的两阶段查询、路径探查与元素迁移分离,以及基于多机器字比较并交换的原子迁移技术实现高性能的查询、插入和删除操作.理论分析和实验验证结果均表明,无锁并发布谷鸟过滤器显著提升了现有最先进算法的并发性能.无锁并发布谷鸟过滤器的查询吞吐量,平均为使用细粒度锁的布谷鸟过滤器的查询吞吐量的1.94倍.

关键词：布谷鸟过滤器并发近似成员资格查询概率数据结构计算机网络

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

大语言模型时代的社会机遇与挑战

计算机研究与发展 2024年第5期61卷 1094-1103页

作者：陈慧敏刘知远孙茂松清华大学新闻与传播学院北京100084 清华大学计算机科学与技术系北京100084

大语言模型ChatGPT因其高度通用化和智能化的表现受到广泛社会关注,其引发的技术革命也正逐渐延伸为一场社会革命.在此背景下,基于ChatGPT背后大语言模型技术的演进路线与特征,探索大语言模型技术对社会的潜在机遇与挑战,成为当下社会... 详细信息

大语言模型ChatGPT因其高度通用化和智能化的表现受到广泛社会关注,其引发的技术革命也正逐渐延伸为一场社会革命.在此背景下,基于ChatGPT背后大语言模型技术的演进路线与特征,探索大语言模型技术对社会的潜在机遇与挑战,成为当下社会的重要议题.首先回顾大语言模型技术发展,将其演进总结为3个发展阶段并论述关键技术特征,然后基于技术与社会互动视角分别探讨大语言模型技术引发的社会机遇:个人通用信息助理、科学研究新范式、产业基础设施、国家治理能力现代化有力工具,以及面临的潜在挑战:信息污染问题、社会权力分配问题、伦理和法制问题、意识形态安全问题.最后,对大语言模型技术发展及其与社会发展关系的未来展开一定思考与讨论.

关键词：大语言模型 ChatGPT 人工智能技术演进社会变革

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

Navi:基于自然语言交互的数据分析系统

软件学报 2024年第3期35卷 1194-1206页

作者：谢宇鹏骆昱宇冯建华青海大学计算机技术与应用系青海西宁810016 香港科技大学(广州) 广东广州511400 清华大学计算机科学与技术系北京100084

随着大数据时代的到来,数据分析的作用日益显著.它能够从海量数据中发现有价值的信息,从而更有效地指导用户决策.然而,数据分析流程中存在三大挑战:分析流程高耦合、交互接口种类多和探索分析高耗时.为了应对上述挑战,提出了基于自然语... 详细信息

随着大数据时代的到来,数据分析的作用日益显著.它能够从海量数据中发现有价值的信息,从而更有效地指导用户决策.然而,数据分析流程中存在三大挑战:分析流程高耦合、交互接口种类多和探索分析高耗时.为了应对上述挑战,提出了基于自然语言交互的数据分析系统Navi.该系统采用模块化的设计原则,抽象出主流数据分析流程的3个核心功能模块:数据查询、可视化生成和可视化探索模块,从而降低系统设计的耦合度.同时,Navi以自然语言作为统一的交互接口,并通过一个任务调度器实现了各功能模块的有效协同.此外,为了解决可视化探索中搜索空间指数级和用户意图不明确的问题,提出了一种基于蒙特卡洛树搜索的可视化自动探索方法,并设计了基于可视化领域知识的剪枝算法和复合奖励函数,提高了搜索效率和结果质量.最后,通过量化实验和用户实验验证了Navi的有效性.

关键词：数据分析数据查询可视化自然语言蒙特卡洛树搜索