一种基于分布式编码的同步梯度下降算法

作     者：李博文 谢在鹏 毛莺池 徐媛媛 朱晓瑞 张基 LI Bowen;XIE Zaipeng;MAO Yingchi;XU Yuanyuan;ZHU Xiaorui;ZHANG Ji

作者机构：河海大学计算机与信息学院南京211100 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2021年第47卷第4期

页      面：68-76,83页

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：国家自然科学基金重点项目(61832005) 国家重点研发计划(2016YFC0402710)。 

主　　题：神经网络 深度学习 分布式编码 梯度下降 通信负载 

摘      要：基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。