检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于联邦学习的多技术融合数据交易方法

计算机工程 2024年第3期50卷 182-190页

作者：刘少杰文斌王泽旭海南师范大学数据科学与智慧教育教育部重点实验室海南海口571158 海南师范大学信息科学技术学院海南海口571158 中山大学软件工程学院广东珠海519082

数据保护的约束使得数据被限制在不同企业和组织之间,形成了众多“数据孤岛”,难以发挥其蕴含的重要价值。联邦学习的出现使得数据在组织之间共享成为可能,但利益分配方案不明确、通信成本高、中心化等问题使其难以满足数据交易场景的... 详细信息

数据保护的约束使得数据被限制在不同企业和组织之间,形成了众多“数据孤岛”,难以发挥其蕴含的重要价值。联邦学习的出现使得数据在组织之间共享成为可能,但利益分配方案不明确、通信成本高、中心化等问题使其难以满足数据交易场景的多方位需求。针对这些问题,提出一种基于联邦学习的多技术融合数据交易方法(MTFDT)。通过结合可信执行环境与沙普利值进行激励机制设计,并对交易过程中模型数据同步机制进行优化,提出一种基于树型拓扑结构的模型同步方案,使得同步时间复杂度由线性级降低至对数级。同时,设计基于区块链的利益分配数据和模型数据存储方案,使得交易过程信息不可篡改并能够通过溯源的方式进行追责。基于公开数据集进行仿真对比,实验结果表明,MTFDT能够实现模型训练效果的精确评估,提高利益分配的公平性,相比已有方案,模型同步时间消耗最多减少34%且对带宽要求更低。

关键词：数据交易联邦学习区块链激励机制通信优化

在线全文

学校读者我要写书评

暂无评论

基于道路状态预测的VANET通信优化研究

基于道路状态预测的VANET通信优化研究

作者：高凯寒合肥工业大学

学位级别：硕士

车联网作为智能交通系统中的重要组成部分,在交通管理、智能运输和缓解交通拥堵等领域都发挥了非常重要的作用。其中车辆自组织网络(Vehicular Ad Hoc Network,VANET)是构成车联网的重要一环,通过车辆间的通信来传输有效数据。而随着车... 详细信息

车联网作为智能交通系统中的重要组成部分,在交通管理、智能运输和缓解交通拥堵等领域都发挥了非常重要的作用。其中车辆自组织网络(Vehicular Ad Hoc Network,VANET)是构成车联网的重要一环,通过车辆间的通信来传输有效数据。而随着车辆节点的增多,车辆密度的增大所带来的交通拥堵等一系列问题,可能会导致VANET中通信性能的下降。如何在当前复杂的道路交通环境中提高VANET的传输性能是尤为重要的研究课题。因此,本文提出了基于道路状态预测的VANET通信优化策略,首先,对于交通网络中特殊的瓶颈点路段,引入了基于瓶颈定位的干扰管理方案。除了针对道路中的特殊路段,更进一步提出了基于隐马尔科夫的道路状态预测模型,并设计了一种适应性的路由策略。本文的研究工作包括:(1)提出了基于交通瓶颈定位的干扰管理方法。首先,对道路拥堵和道路间的拥堵传播进行了定义,根据道路自身的拥堵代价和道路之间的传播代价,提出了拥堵系数的定义。其次使用了图嵌入算法对道路网络进行聚类,利用道路最大生成树算法,分别计算出每个节点的拥堵系数,将拥堵系数最大的道路认为是该路网中的瓶颈点。最后针对瓶颈道路进行干扰中和技术,利用辅助车辆来消除车辆间通信产生的干扰。实验表明,该方法可以有效地定位出道路中的交通瓶颈点,并且减少了瓶颈点处车辆间的干扰,可以最大限度地提高会话传输速率,提高了网络吞吐量。(2)提出了基于道路状态预测的适应性路由方法。使用隐马尔科夫模型对道路状态进行建模,通过观测到的数据推断出道路上的真实状态。然后根据道路状态的不同,提出了基于道路状态预测的适应性路由算法来提高VANET中的通信性能。同时考虑到观测数据可能存在的误差,因此使用卡尔曼滤波对观测值进行估计,使得观测值更加精确。仿真结果表明,基于道路状态预测的路由选择方法可以减少无用数据包发送的数量,提高数据传递率,从而降低通信负载。

关键词：车辆自组织网络交通瓶颈干扰中和隐马尔科夫模型通信优化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向分布式同步数据并行训练的通信优化技术

面向分布式同步数据并行训练的通信优化技术

作者：毕倪飞华东师范大学

学位级别：硕士

近年来,深度学习技术飞速发展,尤其是在大规模数据集的推动下,分布式深度学习系统在学术界和工业界获得了广泛应用。分布式深度学习系统普遍采用同步数据并行来训练模型。同步随机梯度下降(SSGD)作为最常用的分布式同步数据并行训练算法... 详细信息

近年来,深度学习技术飞速发展,尤其是在大规模数据集的推动下,分布式深度学习系统在学术界和工业界获得了广泛应用。分布式深度学习系统普遍采用同步数据并行来训练模型。同步随机梯度下降(SSGD)作为最常用的分布式同步数据并行训练算法,其在每次一迭代中都涉及网络通信。然而,通信开销在通信带宽受限的分布式环境中是昂贵的。为了降低通信开销,一种直观的方式是增大通信间隔,即不是每一次迭代中都进行通信,而是每隔若干次迭代才进行一次通信。但是,增大通信间隔通常会影响模型收敛的速度,导致训练算法需要更多轮(Epoch)才能将模型训练到目标准确率,即降低了训练算法的统计效率。此外,通信间隔的选择直接决定了训练算法的性能,而现有的通信间隔选择方法引入了昂贵的采集统计信息或调节超参数的额外开销。针对上述分布式同步数据并行训练算法和通信间隔选择方法中存在的问题,本文重点研究兼具低通信开销和高统计效率的分布式同步数据并行训练算法,以及具有低额外开销的通信间隔选择方法。围绕这些研究内容,本文的主要贡献有如下三点:提出了一种结合跳过通信策略和纠正技术的训练算法,保证了低通信开销和高统计效率。该训练算法通过在每个训练进程中进行本地更新保持了小的批量大小,并采用纠正技术降低了各个本地模型之间的发散程度,从而保证了高的统计效率。同时,该训练算法采用跳过通信策略来更新全局模型,即不是每一次迭代都对全局模型进行更新,而是每隔若干次迭代才对全局模型进行一次更新。这降低了通信的频率,从而保证了低的通信开销。设计了一种基于第一次迭代运行时统计信息的自适应通信间隔策略,降低了通信间隔选择的额外开销。该自适应通信间隔策略初始化通信间隔为1,并在第一次迭代中收集用于通信和计算的时间,然后基于这些收集的信息对通信间隔进行调整,以使每一轮中的通信时间和计算时间是相近的。在第一次迭代中完成通信间隔的调整后,该通信间隔应用于后续所有的迭代之中。后续迭代中不再进行统计信息的采集以及通信间隔的调整,从而保证了低的额外开销。实现了一个采用上述结合跳过通信策略和纠正技术的训练算法以及自适应通信间隔策略的原型系统。本文基于分布式深度学习系统Tensor Flow实现了上述结合跳过通信策略和纠正技术的训练算法以及自适应通信间隔策略,验证了该训练算法和通信间隔策略的有效性,并阐述了相应原型系统的设计思路。综上所述,本文针对分布式同步数据并行训练的高通信开销问题,提出了通信优化的训练算法与调优策略,并实现了一个原型系统。实验结果显示了上述通信优化技术的有效性,具体来说,结合跳过通信策略和纠正技术的训练算法比SSGD训练算法降低了88.9%的总训练时间,自适应通信间隔策略比现有的通信间隔选择策略降低了三个数量级的额外开销。

关键词：深度学习系统同步训练数据并行分布式训练通信优化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于在网计算的MPI集合通信优化研究

基于在网计算的MPI集合通信优化研究

作者：李嘉群中国科学技术大学

学位级别：硕士

当前云计算、大数据、人工智能等新兴信息技术产业正在飞速发展,对计算算力提升的需求越发迫切。但在为提升算力而不断增大高性能计算系统规模时,系统的互连网络也将相应变得越发复杂,从而使计算节点间的通信开销成为高性能计算系统的... 详细信息

当前云计算、大数据、人工智能等新兴信息技术产业正在飞速发展,对计算算力提升的需求越发迫切。但在为提升算力而不断增大高性能计算系统规模时,系统的互连网络也将相应变得越发复杂,从而使计算节点间的通信开销成为高性能计算系统的主要瓶颈之一。如在对高性能计算最常用的并行编程模型MPI的研究中,有研究表明,MPI集合通信对于高性能计算应用程序的性能有很大影响,约70%以上时间均用于集合通信,且随着系统规模的增大,通信开销也随之增加。因此,对通信进行合理地优化就成为当前面临的重要挑战。以往针对MPI集合通信的优化主要以软件优化方式为主,但其受算法性能提升上限的限制,无法不断提升通信性能。随着硬件设备技术的发展及相应可编程语言的出现,在网计算技术得到迅速发展。在网计算主要利用可编程交换机、SmartNIC等智能网络硬件设备的功能,将计算卸载到网络设备上进行,计算数据将在网络传输的过程中被处理,从而实现在高效利用网络设备高转发能力的同时降低通信开销和CPU负载。当前利用在网计算技术,通过扩展网络通信设备的功能,将科学计算任务中的计算从CPU卸载到特定的网络通信设备上(如可编程交换机),进一步优化通信成为高性能计算领域的研究热点。本文首先对中科大超算中常用的科学应用程序进行MPI通信特征分析,发现Allreduce集合通信在科学应用程序通信开销中占比达到50%以上。本文针对中科大超算科学应用程序中集合通信时间开销较大的问题,提出一种基于在网计算技术优化MPI集合通信,降低通信开销的方法。该方法通过以太网RoCE协议、可编程交换机及扩展在网计算功能模块后的MPI库,实现将MPI集合通信的计算卸载到可编程交换机上进行,使数据边传输边计算,最终达到降低网络通信时延和服务器节点计算负载的目的。本文针对该通信优化方法设计并实现了通用场景下的在网计算优化模式及在服务器有多个物理CPU且负载均衡场景下进一步提升通信性能的另一种在网计算优化模式,并通过中科大瀚海20超算系统对该方法分别进行在网计算两种优化模式下集合通信基准测试和应用测试实验。基准测试实验结果表明,本文在网计算方案相较于基于主机的通信,对于集合通信Allreduce的加速比最高为2.4,对于Barrier的加速比最高达3.1。应用测试实验结果表明,本文在网计算方案相较于基于主机的通信,在16节点下达到最高加速比为1.14。两种实验结果均证明了本文优化方法的有效性,为后续该领域相关研究提供了一定的参考价值,且本文的代码已开源在GitHub上。

关键词：在网计算 RoCE协议 MPI 通信优化高性能计算

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布存储系统中优化通信的冗余计算分割

计算机学报 2003年第2期26卷 180-187页

作者：陈莉张兆庆冯晓兵中国科学院计算技术研究所北京100080

针对并行循环套序列 ,提出一种冗余计算分割的通信优化方法 .根据数据流分析 ,文中给出用以确定每个循环套的冗余计算量的一般方法 ,并在此基础上提出冗余计算分割的实现和判定 .针对规则依赖的程序 ,该文还提出了一个高效的冗余计算分... 详细信息

针对并行循环套序列 ,提出一种冗余计算分割的通信优化方法 .根据数据流分析 ,文中给出用以确定每个循环套的冗余计算量的一般方法 ,并在此基础上提出冗余计算分割的实现和判定 .针对规则依赖的程序 ,该文还提出了一个高效的冗余计算分割的实现方法 .该技术已经在一个并行编译器中实现 ,试验结果表明 ,它比传统的通信优化技术有明显的优越性 .

关键词：分布存储系统冗余计算分割并行编译冗余计算计算分割通信优化

在线全文

学校读者我要写书评

暂无评论

基于整数线性规划的MPSoC通信优化策略

上海交通大学学报 2015年第2期49卷 184-190,195页

作者：黄凯张晓旭张晓濛修思文梅玲琪余慜严晓浪浙江大学信息与电子工程学系杭州310027 浙江大学电气工程学院杭州310027 中国计量学院光学与电子科技学院杭州310018

针对多处理器片上系统(Multiprocessor System-on-chip,MPSoC)的通信优化技术——通信流水线和消息聚合,其过度使用可能会导致系统同步开销上升从而带来整体系统性能降低的问题,提出了基于整数线性规划(Integer Linear Programming,ILP... 详细信息

针对多处理器片上系统(Multiprocessor System-on-chip,MPSoC)的通信优化技术——通信流水线和消息聚合,其过度使用可能会导致系统同步开销上升从而带来整体系统性能降低的问题,提出了基于整数线性规划(Integer Linear Programming,ILP)的优化策略.该策略以综合优化系统通信和同步开销为目标,通过对通信流水线技术和消息聚合技术的合理规划,使系统性能达到最优.实验结果表明,基于ILP的通信优化策略能够充分发挥通信优化技术的优点,使系统性能显著提升.

关键词：通信优化整数线性规划 Simulink

RoCE协议下基于在网计算的MPI通信优化

在线全文

学校读者我要写书评

暂无评论

计算机系统应用 2022年第11期31卷 320-329页

作者：李嘉群蔡文杰沈瑜齐法制曾珊李京中国科学技术大学计算机科学与技术学院合肥230027 中国科学技术大学超级计算中心合肥230027 中国科学院高能物理研究所计算中心北京100049

高性能计算中,通信上的巨大开销已成为其算力提升的主要瓶颈之一,通信性能的优化一直是一个重要挑战.针对通信优化任务,提出一种基于在网计算技术降低通信开销的方法.该方法在基于以太网的超算环境下,利用RoCEv2协议、可编程交换机以及O... 详细信息

高性能计算中,通信上的巨大开销已成为其算力提升的主要瓶颈之一,通信性能的优化一直是一个重要挑战.针对通信优化任务,提出一种基于在网计算技术降低通信开销的方法.该方法在基于以太网的超算环境下,利用RoCEv2协议、可编程交换机以及OpenMPI,实现将归约计算卸载到可编程交换机,支持Node和Socket两种通信模式.在真实超算环境下开展了集合通信基准测试和OpenFOAM应用测试实验,结果表明,当服务器节点数达到一定规模时,该方法在Node和Socket两种模式下相较于传统的主机通信,均呈现出较好的性能提升,其中集合通信基准测试有10%–30%左右性能提升,在应用级测试中应用整体性能有1%–5%左右提升.

关键词：在网计算 RoCE协议 MPI 通信优化高性能计算

在线全文

学校读者我要写书评

暂无评论

面向风电场景的联邦学习平台高性能通信优化

计算机系统应用 2023年第3期32卷 116-124页

作者：于航周继威张涵孔祥锋张玉会中能电力科技开发有限公司北京100034 中国科学院信息工程研究所北京100093 中国科学院大学网络空间安全学院北京100049

风能作为清洁能源为改善我国能源结构发挥着越来越重要的作用.风电场机组及设备的数据可能会包含机组或风场的隐私敏感信息,这些隐私数据一旦被泄露,将会为风电场带来巨大的经济风险和法律风险.联邦学习作为重要的隐私计算手段,能够保... 详细信息

风能作为清洁能源为改善我国能源结构发挥着越来越重要的作用.风电场机组及设备的数据可能会包含机组或风场的隐私敏感信息,这些隐私数据一旦被泄露,将会为风电场带来巨大的经济风险和法律风险.联邦学习作为重要的隐私计算手段,能够保证原始数据不出本地的情况下完成模型的建模和推理,实现各参与方在互不泄露隐私的前提下实现联合计算,从而有效应对风电数据分析面临的挑战.但是,联邦学习计算过程中存在大量的通信开销,这成为限制联邦学习技术在风电场景下应用的关键性能瓶颈.因此,本文以经典的联邦学习算法XGBoost为例,深入分析了联邦学习计算过程中的通信问题,提出采用RDMA作为底层传输协议的解决方案,设计并实现了一套高性能联邦学习平台通信库,有效提升了联邦学习系统的性能.

关键词：风电联邦学习通信优化 RDMA

面向MapReduce计算模式的中间数据通信优化

在线全文

学校读者我要写书评

暂无评论

计算机应用 2018年第4期38卷 1078-1083页

作者：曹云鹏王海峰临沂大学信息科学与工程学院山东临沂276002 山东省网络环境智能计算技术重点实验室临沂大学研究所单位问题已经过作者核实山东临沂276002

针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;... 详细信息

针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;然后,采用朴素贝叶斯分类模型实现分类预测,将历史作业的运行数据作为样本来训练分类模型;最后,根据作业分类预测结果把通信活跃的作业集中映射到同一机架中,通过提高通信局部性来优化性能瓶颈。实验结果表明,所提方案对Shuffle子过程稠密的作业优化效果明显,能够提高4%~5%的计算性能;此外,在多用户运行情况下能降低4.1%中间数据通信延迟。所提方法可有效降低大数据计算过程中的通信延迟,提高异构集群的计算性能。

关键词： MapReduce计算模型大数据处理通信优化中间数据机器学习