固定时间收敛的分布式算法研究

作     者：李书伶 

作者单位：桂林理工大学 

学位级别：硕士

导师姓名：艾武

授予年度：2021年

学科分类：02[经济学] 0202[经济学-应用经济学] 

主      题：固定时间收敛 分布式优化 最小二乘算法 分布式学习 随机配置网络 

摘      要：随着计算机和互联网的广泛使用,数据呈爆炸式增长,大数据时代已经到来。如何快速有效地实现数据的采集、存储和计算成为各行各业亟待解决的问题。因为数据种类繁多,规模巨大,人们使用传统的集中式方法处理数据时,易出现单机无法集中存储和计算所有数据、训练的时间过长、数据被泄露等问题。为克服集中式方法的缺点,多级协作的分布式方法应运而生。由于现存的大多数分布式算法只能达到渐进收敛和指数收敛,可能会耗费较长时间并且浪费通信资源,研究能减少时长消耗的分布式方法具有重要意义。本文主要研究引入固定时间稳定性理论的分布式算法,通过加快收敛速度减少计算和通信资源浪费。首先,针对线性代数方程组的求解问题,提出一个固定时间收敛的分布式零梯度和最小二乘算法。很多工程问题可以被看作是寻找一组线性方程组的解,但这些问题可能呈现物理、地理或逻辑上是分布的,因此需要在分布式环境下寻找解决方法。本文在固定无向的网络拓扑结构情况下,先将线性方程组的最小二乘问题转化为适合多智能体系统分布式求解的形式,然后将固定时间稳定性理论引入零梯度和算法,得到固定时间收敛的分布式零梯度和最小二乘算法,其初始条件只依赖于设置的参数。再通过Lyapunov方法证明了该算法的收敛性。最后通过仿真实验,验证了该算法的有效性。其次,针对随机配置网络的权重学习问题,本文提出两种分布式学习算法:第一种方法是结合有限时间一致性理论和牛顿法提出有限时间收敛的分布式学习算法;第二种方法则是引入固定时间稳定性理论提出固定时间收敛的分布式学习算法。大规模的数据集可能分布式储存在多个随机配置网络中,在没有任何融合中心的情况下,需要能在一定时间内高效安全地获得最优权重的分布式算法。这两种算法的核心思想都是使用随机配置方案随机选择输入权重和偏差,然后在一定的时间内在本地进行计算并与邻居智能体进行信息交换得到一致最优的输出权重。最后通过仿真实验,验证了这两种算法的有效性。