检索结果-南通市图书馆

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第4期61卷 809-823页

作者：冯杨洋汪庆谢旻晖舒继武清华大学计算机科学与技术系北京100084

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算... 详细信息

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

关键词： ChatGPT 大模型存储系统容错大模型训练系统

一种基于多重网络应用的海上平台三地控制模式设计

在线全文

学校读者我要写书评

暂无评论

科学技术创新 2023年第23期 35-38页

作者：冯杨锋罗飞箭戚蒿尹燕波王松尉星望张欢中海石油(中国)有限公司海南分公司海南海口

随着海上油气资源勘探开发逐步进入深水区,水下生产系统的应用也逐步得到推广。在水下生产系统的应用过程中,出现了将控制系统部署在近端平台,将水下生产系统产出的油气,通过海管输送到远端平台处理的情况。水下生产系统的控制系统与生... 详细信息

随着海上油气资源勘探开发逐步进入深水区,水下生产系统的应用也逐步得到推广。在水下生产系统的应用过程中,出现了将控制系统部署在近端平台,将水下生产系统产出的油气,通过海管输送到远端平台处理的情况。水下生产系统的控制系统与生产处理装置不在同一地点,导致不同的系统间出现了远程协同需求。本文主要通过对水下、水上生产控制系统架构、通讯拓扑进行重新设计,介绍一种基于卫星网络、散射网络和微波网络三重网络的拓扑结构,在网络资源有限的条件下,实现将工业控制系统与重要的生产辅助系统的联合部署,实现本地、油气物流接收地、陆地遥控终端的三地联网,并设置本地控制模式、接收地远程控制模式和陆地台风遥控模式,使得各系统能够高效协同。

关键词：海上平台台风遥控网络拓扑三地控制

基于Seed-PCG法的列车-轨道-地基土三维随机振动GPU并行计算方法

在线全文

学校读者我要写书评

暂无评论

Journal of Central South University 2024年第1期31卷 302-316页

作者：朱志辉冯杨杨啸李昊邹有 National Engineering Research Center of High-speed Railway Construction Technology Changsha 410075China School of Civil Engineering Central South UniversityChangsha 410075China School of Computer Science and Engineering Center South UniversityChangsha 410083China Information and Network Center Central South UniversityChangsha 410083China

为了解决列车-轨道-地基土三维有限元模型随机多样本计算效率低的问题,本文提出了一种基于Seed-PCG法的高效并行计算方法。基于有限元法和虚拟激励法建立轨道不平顺激励下的三维列车-轨道-地基土耦合随机振动分析模型;针对车致地基土随... 详细信息

为了解决列车-轨道-地基土三维有限元模型随机多样本计算效率低的问题,本文提出了一种基于Seed-PCG法的高效并行计算方法。基于有限元法和虚拟激励法建立轨道不平顺激励下的三维列车-轨道-地基土耦合随机振动分析模型;针对车致地基土随机振动分析产生的多右端项线性方程组求解问题,采用Seed-PCG方法进行求解。通过PCG方法求解种子系统得到的Krylov子空间进行投影,以改进其余线性方程组的初始解和对应的初始残量,有效提高了PCG法的收敛速度,最后,在MATLABCUDA混合平台上开发了并行计算程序。数值算例表明:相同计算平台下的该方法相比多点同步算法获得了104.2倍的加速;相比PCG法逐个求解方案减少了18%的迭代次数,获得了1.21倍的加速。

关键词： Seed-PCG法多右端项线性方程组随机振动 GPU并行计算列车-轨道-地基土耦合模型

在线全文

学校读者我要写书评

暂无评论

基于GPU直访存储架构的推荐模型预估系统

计算机研究与发展 2024年第3期61卷 589-599页

作者：谢旻晖陆游游冯杨洋舒继武清华大学计算机科学与技术系北京100084

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在... 详细信息

新型深度学习推荐模型已广泛应用至现代推荐系统,其独有的特征——包含万亿嵌入参数的嵌入层,带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而,现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问,存在着CPU-GPU通信开销大和额外的内存拷贝2个问题,这增加了嵌入层的访存延迟,进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统***的核心思想是在嵌入参数的访问路径上移除CPU参与,由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访,GDRec利用统一计算设备架构(compute unified device architecture,CUDA)提供的统一虚拟地址特性,实现GPU核心函数(kernel)对主机内存的细粒度访问,并引入访问合并与访问对齐2个机制充分优化访存性能;对于外存直访,GDRec实现了一个轻量的固态硬盘(solid state disk,SSD)驱动程序,允许GPU从SSD中直接读取数据至显存,避免内存上的额外拷贝,GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明,GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIA HugeCTR,可以提升多达1.9倍的吞吐量.

关键词： GPU直访存储参数存储推荐系统预估系统存储系统

在线全文

学校读者我要写书评

暂无评论

纳米材料在功能化纤产品中的应用研究

化纤与纺织技术 2024年第7期53卷 28-30页

作者：冯杨连云港鹰游新立成纺织科技有限公司江苏连云港222000

随着科学技术的不断进步以及纺织工业的快速发展,功能化纤维产品已经成为纺织行业的重要发展方向。功能化纤维产品不仅具有传统纤维的基本性能,还具备特定的功能特性,如抗菌、防静电、吸湿排汗等,广泛应用于服装、家具纺织、医疗卫生等... 详细信息

随着科学技术的不断进步以及纺织工业的快速发展,功能化纤维产品已经成为纺织行业的重要发展方向。功能化纤维产品不仅具有传统纤维的基本性能,还具备特定的功能特性,如抗菌、防静电、吸湿排汗等,广泛应用于服装、家具纺织、医疗卫生等领域。在功能化纤产品的开发与生产过程中,纳米材料是一种新型材料,逐渐受到关注并应用于其中。基于此,文章主要对纳米材料在功能化纤产品中的具体应用和发展方向进行探究,以供参考。

关键词：纳米材料功能化纤维产品纺织工业

论边地书写的空间叙事——以冯良《西南边》为例

在线全文

学校读者我要写书评

暂无评论

新楚文化

新楚文化 2024年第17期 36-38页

作者：冯杨大连民族大学文法学院

文学作为建构社会文化空间的重要组成部分，对社会现实的批判赋予了空间特定的含蕴，空间叙事学也为文学文本的多重阐释提供了空间视域。当代女性作家冯良在叙事方面独树一帜，其作品《西南边》在对大凉山故事的建构中，总有“空间”的... 详细信息

文学作为建构社会文化空间的重要组成部分，对社会现实的批判赋予了空间特定的含蕴，空间叙事学也为文学文本的多重阐释提供了空间视域。当代女性作家冯良在叙事方面独树一帜，其作品《西南边》在对大凉山故事的建构中，总有“空间”的参加。本文基于空间叙述理论，通过梳理冯良的边地小说《西南边》中物理空间、心理空间和社会空间三重空间意象的建构，进而发掘冯良在边地小说的创作中空间叙事理论的运用策略。空间叙事理论的使用为分析冯良的作品提供了新的思路，同时也为开拓边地小说与空间叙事的研究领域提供有益的参考。

关键词：冯良大凉山边地小说空间叙事空间意象

木丹颗粒联合甲钴胺治疗痛性糖尿病周围神经病变的临床观察

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

中国科技期刊数据库医药 2024年第2期 0054-0057页

作者：冯杨江苏省泗阳医院内分泌科江苏宿迁223700

评价痛性糖尿病周围神经病变(Painful Diabetic Peripheral Neuropathy,PDPN))给予木丹颗粒+甲钴胺疗效。方法选入PDPN患者82例,取自2021年5月-2023年7月。双盲法进行分组,2组均为41例。研究组:木丹颗粒+甲钴胺。对照组:甲钴胺。评价... 详细信息

评价痛性糖尿病周围神经病变(Painful Diabetic Peripheral Neuropathy,PDPN))给予木丹颗粒+甲钴胺疗效。方法选入PDPN患者82例,取自2021年5月-2023年7月。双盲法进行分组,2组均为41例。研究组:木丹颗粒+甲钴胺。对照组:甲钴胺。评价各组治疗情况。结果总有效率结果中,研究组结果更高(P<0.05)。根据患者的毒副反应发生情况,研究组1例头晕、0例恶心与嗜睡;对照组2例头晕、恶心、3例嗜睡。根据正中神经和腓总神经传导速度数据结果比较可知,研究组得分略高(P<0.05)。治疗后研究组TCSS评分低于对照组(P<0.05)。结论根据PDPN临床特点,将木丹颗粒与甲钴胺结合治疗有利于治疗效果提高,安全性高,改善神经传导速度,推广价值显著。

关键词：木丹颗粒甲钴胺痛性糖尿病周围神经病变效果

虚拟现实技术在文化遗产沉浸式体验设计的应用研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

北京印刷学院学报 2024年第1期32卷 75-78页

作者：冯杨北京印刷学院新媒体学院北京102600

虚拟现实技术在教育、医疗、航天等领域已经得到广泛应用。随着文化遗产创造性转化与创新性发展的需求不断增强,将虚拟现实技术应用于文化遗产沉浸式体验设计已经是大势所趋。虚拟现实技术以其自身的技术特点为文化遗产的虚拟展示、感... 详细信息

虚拟现实技术在教育、医疗、航天等领域已经得到广泛应用。随着文化遗产创造性转化与创新性发展的需求不断增强,将虚拟现实技术应用于文化遗产沉浸式体验设计已经是大势所趋。虚拟现实技术以其自身的技术特点为文化遗产的虚拟展示、感官体验、品牌塑造带来新的创意增长点,不仅能够形成一系列虚拟现实技术在文化遗产领域的应用策略,更对多维度相关方产生应用价值。

关键词：文化遗产虚拟现实应用创造性转化创新性发展沉浸式体验设计

绿色转型节能攻坚 2024年深圳市建筑领域节能宣传月系列活动圆满开展

在线全文

学校读者我要写书评

暂无评论

住宅与房地产 2024年第20期 4-5页

作者：冯杨晴深圳市建设科技促进中心

为深入践行习近平生态文明思想,落实国家、广东省和深圳市关于2024年节能宣传周(月)的工作部署,着力推动建筑领域节能降碳高质量发展,在5月21日至6月19日期间,深圳市住房和建设局有关主管部门紧紧围绕2024年度“绿色转型节能攻坚”核... 详细信息

为深入践行习近平生态文明思想,落实国家、广东省和深圳市关于2024年节能宣传周(月)的工作部署,着力推动建筑领域节能降碳高质量发展,在5月21日至6月19日期间,深圳市住房和建设局有关主管部门紧紧围绕2024年度“绿色转型节能攻坚”核心主题,卓有成效地组织开展节能宣传周(月)一系列丰富多彩的宣贯培训推广活动。

关键词：节能宣传周绿色转型核心主题高质量发展节能降碳攻坚深圳市宣贯培训