无线传感网分布式训练优化算法研究

作     者：杨坚伟 

作者单位：广东工业大学 

学位级别：硕士

导师姓名：孟敏

授予年度：2021年

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 080202[工学-机械电子工程] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 0802[工学-机械工程] 

主      题：无线传感器网络 分布式机器学习 训练优化算法 异构任务调度策略 收敛分析 

摘      要：无线传感器网络能够为机器学习提供训练所需的计算资源,但近年来随着无线传感器网络的高速发展,训练数据与所用模型复杂度的日益增长已经严重制约了原有的单机加GPU计算的训练方式。因此,利用边缘计算实现分布式训练成为提高机器学习模型训练效率与网络资源利用率的关键手段。目前大部分分布式机器学习系统都采用了参数服务器架构实现数据并行化方案,然而,如果以现实中的边缘计算设备作为分布式训练的工作节点,如何在异构任务的执行效率与模型训练的任务完成质量之间取得平衡将成为亟需解决的关键性问题。针对上述问题,本文在基于参数服务器架构的分布式机器学习系统中,提出了一种异构任务调度模型。该模型的构建主要依赖于对所涉及的计算过程、通信过程以及能耗因素的分析,在上述过程中,无线网络干扰因素、参数服务器决策因素等都会对设计基于训练性能优化目标的异构任务调度策略产生影响。为解决该问题,本研究引入关于分布式机器学习系统的相关结论,对分布式机器学习系统的收敛效率进行了深入分析,最终确定了分布式训练性能优化目标的影响要素以及相应的约束条件,完成对问题的形式化描述过程;此外,训练数据的质量也会极大地影响分布式训练性能的优化,而这依赖于无线传感器网络对数据的采集策略。对汇聚节点的充电需要一定的成本,为了平衡充电成本与分布式训练性能优化目标之间的关系,需要考虑引入充电奖励因子调整能量发射功率,激励无线传感器网络对训练数据的采集过程进行进一步优化。本研究将系统效用定义为充电奖励因子与训练性能在帕累托效率模型下所产生的整体效用值,并在不改变相关约束条件以及目标函数形式等前提下,对目标方程进行了重写,通过对目标函数及其约束条件等进行等价转换,从理论角度建立与0-1背包问题之间的相似性联系,证明了所提问题的NP难解性。针对上述问题,本研究提出了一种基于贪心策略的禁忌搜索算法,通过贪心策略得到一个较好的初始解,降低了禁忌搜索算法的不稳定因素,最终得到该问题的近似最优解。此外,通过仿真实验研究了算法执行效率以及各因素对系统效用的影响,首先分别在集群层面与训练任务层面对比了五种算法下集群的系统效用值大小,执行训练任务的节点数量占边缘节点数量的百分比,以及分布式集群的任务执行能耗占集群最大可承受能耗的百分比。除此之外,实验也研究了无线网络干扰因素,参数服务器决策因素等在不同情况下对系统效用值的影响。结果表明,与现有方案相比,本文提出的算法具有较好的执行性能。