检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

分布式在线条件梯度优化算法

计算机科学 2019年第3期46卷 332-337页

作者：李德权董翘周跃进安徽理工大学数学与大数据学院安徽淮南232001

针对现有分布式在线优化算法所面临的高维约束难以计算的问题,提出一种分布式在线条件梯度优化算法(Distributed Online Conditional Gradient Optimization Algorithm,DOCG)。首先,通过多个体网络节点间的相互协作进行数据采集,并通过... 详细信息

针对现有分布式在线优化算法所面临的高维约束难以计算的问题,提出一种分布式在线条件梯度优化算法(Distributed Online Conditional Gradient Optimization Algorithm,DOCG)。首先,通过多个体网络节点间的相互协作进行数据采集,并通过共享采集的信息更新局部估计,同时引入反映环境变化的局部即时损失函数。然后,该算法利用历史梯度信息进行加权平均,提出一种新的梯度估计方案,其用线性优化步骤替代投影步骤,避免了投影运算在高维约束时难以计算的问题。最后,通过分析表征在线估计性能的regret界,证明了所提DOCG算法的收敛性。利用低秩矩阵填充问题进行仿真验证,结果表明,相比于现有分布式在线梯度下降法(DOGD),所提DOCG算法具有更快的收敛速度。

关键词：条件梯度无投影分布式网络在线学习 regret界

在线全文

学校读者我要写书评

暂无评论

快速在线分布式对偶平均优化算法

计算机应用 2018年第8期38卷 2337-2342页

作者：李德权王俊雅马驰周跃进安徽理工大学数学与大数据学院安徽淮南232000

为提高分布式在线优化算法的收敛速度,对底层网络拓扑依次添边,提出一种快速的一阶分布式在线对偶平均优化(FODD)算法。首先,对于分布式在线优化问题,运用添边方法使所选的边与网络模型快速混合,进而建立数学模型并设计FODD算法对其进... 详细信息

为提高分布式在线优化算法的收敛速度,对底层网络拓扑依次添边,提出一种快速的一阶分布式在线对偶平均优化(FODD)算法。首先,对于分布式在线优化问题,运用添边方法使所选的边与网络模型快速混合,进而建立数学模型并设计FODD算法对其进行优化求解。其次,揭示了网络拓扑和在线分布式对偶平均收敛速度之间的关系,通过提高底层拓扑网络的代数连通度改进了regret界,将在线分布式对偶平均(ODDA)算法从静态网络拓展到时变网络拓扑上,并证明了FODD算法的收敛性,同时解析地给出了收敛速度。最后的数值仿真表明:和ODDA算法相比,所提出的FODD算法具有更快的收敛速度。

关键词：分布式网络在线分布式对偶平均 regret界代数连通度拉普拉斯矩阵

在线全文

学校读者我要写书评

暂无评论

分布式共轭对偶梯度算法研究

分布式共轭对偶梯度算法研究

作者：吕净阁安徽理工大学

学位级别：硕士

分布式优化是大量自主个体(计算节点)通过相互间的局部信息传递或相互交流,协同合作来解决关于整个系统或网络的优化问题的优化方法。由于需要个体与其邻居进行局部信息交互,可能会产生不必要的隐私信息泄露等问题;海量数据中大部分都... 详细信息

分布式优化是大量自主个体(计算节点)通过相互间的局部信息传递或相互交流,协同合作来解决关于整个系统或网络的优化问题的优化方法。由于需要个体与其邻居进行局部信息交互,可能会产生不必要的隐私信息泄露等问题;海量数据中大部分都是具有实时更新特性的动态流数据,传统的批处理方法难以有效处理这些动态流数据。因此,针对以上两个问题,研究了分布式共轭对偶梯度算法的隐私保护性以及能对流数据进行实时处理的分布式在线学习算法。一、针对个体间信息交互易导致状态和局部函数等隐私泄露的问题,在分布式共轭对偶梯度算法的基础上,有效结合同态加密技术中的Paillier Cryptosystem机制,提出了一种具有隐私保护的分布式共轭对偶梯度算法,并证明了在无向时变网络拓扑下,且本地局部成本函数是强凸函数时算法的收敛性;进一步的理论分析表明某一个体即使能够收集多步骤中间信息仍然无法窃取邻居的敏感信息,因此该算法能够有效保护隐私。最后,通过数值模拟验证了算法的隐私保护性。二、在时变有向强连通网络环境下,针对如何实时处理动态流数据的问题,在分布式共轭对偶梯度算法的基础上研究了一种分布式在线学习优化算法—分布式在线共轭对偶梯度算法。对分布式共轭对偶梯度算法添加在线设置,建立相关的数学模型,进行迭代求解,并给出算法的原始变量以及对偶变量的regret界,通过理论证明了当本地成本函数是强凸函数时,算法的收敛性以及本地估计的regret界关于时间的次线性。综上所述,针对分布式计算过程中可能会产生隐私泄露的问题,提出了一种运用同态加密技术来保证数据隐私的具有隐私保护的分布式共轭对偶梯度算法,并通过理论证明算法的收敛性以及隐私保护的有效性;针对如何实时处理动态流数据的问题,提出了一种分布式在线共轭对偶梯度算法,并通过理论分析证明了算法的收敛性。图[12]表[5]参[64]。

关键词：分布式优化对偶梯度同态加密技术隐私保护在线学习 regret界权重平衡

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

具有隐私保护的分布式在线对偶平均算法

具有隐私保护的分布式在线对偶平均算法

作者：汪伟安徽理工大学

学位级别：硕士

近年来,随着互联网的普及,信息工业化技术得到高速的发展,数据存储和数据挖掘技术的突破性进步,让基于物联网-大数据-云计算的分布式系统成为当下发展的趋势。其中,分布式优化对于许多分布式系统的设计、部署和功能具有极其重要的意义... 详细信息

近年来,随着互联网的普及,信息工业化技术得到高速的发展,数据存储和数据挖掘技术的突破性进步,让基于物联网-大数据-云计算的分布式系统成为当下发展的趋势。其中,分布式优化对于许多分布式系统的设计、部署和功能具有极其重要的意义。分布式优化中,个体之间通过网络进行通信和协调,协作地完成计算任务。在大多数的分布式优化算法中,这种信息交互是显式的,当交互的信息中包含个体敏感数据时,很容易造成隐私泄露。同时,由于环境中存在不确定性,个体的成本函数和网络拓扑容易发生改变。针对以上两个问题,本文分别提出具有隐私保护的分布式在线对偶平均算法(ODDA-PP)和具有隐私保护的切换网络平均共识算法。首先,基于现有的分布式在线对偶平均算法(ODD),提出权重分解机制,通过合理的将权重分解为权重对,结合Paillier Cryptosystem,利用加法同态的性质,在不需要第三方协助的情况下实现了隐私保护。对ODDA-PP算法进行理论推导和数值仿真,证明了 ODDA-PP算法具有O((?))的regret界。其次,为解决切换网络中隐私保护的问题,提出具有隐私保护的切换网络平均共识算法。通过状态分解机制,将个体的真实状态分解为显式状态和隐式状态,利用改进的更新规则,不仅个体的真实状态受到隐私保护,而且收敛性分析和数值仿真表明,所有个体均能够收敛到精确的平均共识,不损失最终平均共识值的精度。本文设计的两种算法不仅可以在不影响解决方案最优解的情况下提供隐私保护,而且实现了对分布式优化中数据的实时处理,增强了分布式系统的数据安全性。理论和仿真证明了两种算法具有高效率和低计算复杂度,分析表明:权重分解和状态分解机制并不影响算法的收敛,算法的收敛速度取决于底层网络拓扑的连通性,可以通过设计网络拓扑来提高算法的执行效率。图[27]表[0]参[48]

关键词：分布式优化对偶平均 regret界隐私保护切换网络平均共识

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于交替方向乘子法的分布式在线学习算法

基于交替方向乘子法的分布式在线学习算法

作者：许浩锋中国科学技术大学

学位级别：硕士

随着网络技术的发展,社交网络、互联网金融、物联网等诸多相关应用领域快速崛起。上述应用每天都会产生海量数据;这些数据中除少量非实时的静态数据,更多的是具有实时特性的流数据。对于海量流数据的信息提取问题,利用传统的分布式批处... 详细信息

随着网络技术的发展,社交网络、互联网金融、物联网等诸多相关应用领域快速崛起。上述应用每天都会产生海量数据;这些数据中除少量非实时的静态数据,更多的是具有实时特性的流数据。对于海量流数据的信息提取问题,利用传统的分布式批处理学习方法已很难解决。因此,本文致力于研究流数据的分布式实时在线学习问题。本文针对分布式在线学习问题,提出了基于交替方向乘子法(ADMM)的同步分布式在线学习算法(oDM)与异步分布式在线学习算法(aoDM)。首先,针对分布式在线学习需要各节点根据新采集的数据来更新本地估计,同时保持网络中所有节点的估计趋于一致这一问题,建立了数学模型并设计同步算法oDM与异步算法aoDM进行求解。其次,针对分布式在线学习问题定义了同步与异步情况下的regret界,用以刻画在线学习与批处理学习所带来的目标函数的差异。其中,对于同步算法oDM,本文证明了当本地即时损失函数是凸函数且函数次梯度有界时,算法具有O((?)T)的regret界和O((?)T/T)的收敛速度;当本地即时损失函数是强凸函数且函数次梯度有界时,算法具有O(logT)的regret界和O(log T/T)的收敛速度。对于异步算法aoDM,本文证明了当定义域是紧集且函数利普希茨连续时,算法具有O(1)的regret界和O(1/T)的收敛速度。最后,通过数值实验,证明了分布式在线学习算法oDM与aoDM的有效性。

关键词：分布式网络在线学习交替方向乘子法 regret界

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于条件梯度法的分布式在线学习算法

基于条件梯度法的分布式在线学习算法

作者：董翘安徽理工大学

学位级别：硕士

近年来,伴随互联网的快速发展,云计算、大数据等新兴领域不断的涌现,其结果就是数据量的爆炸式增长。海量数据处理问题已成为工程应用等行业的热点问题,事实上,许多优化算法已被相继提出,借助多个体网络从大规模数据集中提取有用信息。... 详细信息

近年来,伴随互联网的快速发展,云计算、大数据等新兴领域不断的涌现,其结果就是数据量的爆炸式增长。海量数据处理问题已成为工程应用等行业的热点问题,事实上,许多优化算法已被相继提出,借助多个体网络从大规模数据集中提取有用信息。这种与多个体网络相结合的优化算法分为集中式算法和分布式算法。其中,分布式算法假定多个体网络中各节点无主次之分,节点间互相通信共享计算资源,有效地降低了集中式算法由于网络中心节点故障导致整个网络瘫痪的风险。已有的分布式算法通常假定多个体网络中节点数据是静态的,且要等到网络中所有节点数据都被收集后再进行数据处理,这种离线的学习方式会带来高昂的通信代价,因此研究在线学习方式下的分布式算法意义重大。本文针对多个体网络节点数据为动态流数据的问题,提出了分布式在线条件梯度算法(DOCG)和快速分布式在线条件梯度算法(Fa-DOCG)。首先,针对现有分布式在线优化算法所面临的高维约束时投影运算难以实现的问题,提出DOCG算法,目的是利用条件梯度算法无投影的特性,实现线性优化步骤对投影步骤的替代,解决高维约束带来的投影计算瓶颈问题。其次,为解决DOCG算法收敛速度慢的问题,提出Fa-DOCG算法。利用局部线性优化Oracle机制替代DOCG算法的线性优化步骤,使算法收敛速度呈指数级改善。最后,通过分析表征在线估计性能的regret界,证明了 DOCG算法和Fa-DOCG算法分别具有 O(73/4)和O(logT)的 regret 界。本文设计的两种算法融合正则化函数和各节点局部信息构建新的时变成本函数,从而实现对分布式网络中节点数据的实时处理,并且有效解决传统条件梯度法对梯度大小不敏感问题。最后理论上证明了两种算法的有效性,分析表明:投影运算并不影响算法的收敛,而是影响算法的收敛速度,相比之下,采用线性近似优化替代投影操作,可在一定程度上提高算法收敛速度。图[20]表[0]参[44]。

关键词：分布式优化条件梯度无投影在线学习 regret界

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

改进的分布式梯度下降优化算法研究

改进的分布式梯度下降优化算法研究

作者：张宇衡安徽理工大学

学位级别：硕士

近年来,人工智能技术发展的非常快速,数据的储存,挖掘等得到了非常大的、具有突破性的进步。基于大数据--云计算的分布式系统是新的流行趋势,其中,分布式优化算法对许多分布式系统的开发有着十分重要的作用。分布式优化中,个体或节点之... 详细信息

近年来,人工智能技术发展的非常快速,数据的储存,挖掘等得到了非常大的、具有突破性的进步。基于大数据--云计算的分布式系统是新的流行趋势,其中,分布式优化算法对许多分布式系统的开发有着十分重要的作用。分布式优化中,个体或节点之间通过底层网络进行通讯和交流,协同合作地完成优化任务。本文提出了两种改进的分布式梯度下降优化算法。第一种主要考虑带有约束的分布式在线优化问题。在分布式环境下,节点间相互通过信息通信对实时数据流进行决策优化,因此每个节点的成本函数是时变的。为有效克服求解带有约束的优化问题通常要涉及到代价昂贵的投影运算,本文提出一种新的基于Frank-Wolfe的分布式自适应在线优化算法(DFWAdam)。自适应优化算法(Adam)是随机梯度下降算法的扩展。首先,为了有效克服受约束导致的求解投影操作计算复杂的问题,所提出的DFWAdam算法使用Frank-Wolfe算法来代替代价昂贵的投影运算。其次,各个网络节点间通过局部信息交互来更新局部估计。最后,算法收敛性分析表明,当函数代价函数为凸时,算法具有O(T)的遗憾(regret)界。利用两种不同类型的数据集分别进行数值实验,验证了DFWAdam算法具有较快的收敛速度。第二种优化算法在随机梯度下降算法的基础上进行改进,提出了一种快速分布式随机Nesterov梯度下降算法(SFDGND),该算法可以有效地解决分布式神经网络的图像分类问题。SFDGND算法允许数据被随机均匀地分配给每个节点。为了实现并行计算,每个节点都使用本地数据子集来更新其参数。最后,我们比较了提出的SFDGND随机算法在训练分布式的神经网络优化问题上的效率。结果表明,SFDNGD算法在在MNIST数据集和CIFAR-10数据集上具有良好的性能,优于现有算法。图[20]表[5]参[70]

关键词：机器学习分布式优化条件梯度 regret界图像分类

基于Bandit反馈的分布式在线对偶平均算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

四川轻化工大学学报（自然科学版） 2020年第3期33卷 87-93页

作者：朱小梅重庆师范大学数学科学学院重庆401331

为解决梯度信息难以获取的分布式在线优化问题,提出了一种基于Bandit反馈的分布式在线对偶平均(DODA-B)算法。首先,该算法对原始梯度信息反馈进行了改进,提出了一种新的梯度估计,即Bandit反馈,利用函数值信息去近似原损失函数的梯度信息... 详细信息

为解决梯度信息难以获取的分布式在线优化问题,提出了一种基于Bandit反馈的分布式在线对偶平均(DODA-B)算法。首先,该算法对原始梯度信息反馈进行了改进,提出了一种新的梯度估计,即Bandit反馈,利用函数值信息去近似原损失函数的梯度信息,克服了求解复杂函数梯度存在的计算量大等问题。然后,给出了该算法的收敛性分析,结果表明,regret界的收敛速度为O(Tmax{k,1-k}),其中T是最大迭代次数。最后,利用传感器网络的一个特例进行了数值模拟计算,计算结果表明,所提算法的收敛速度与现有的分布式在线对偶平均(DODA)算法的收敛速度接近。与DODA算法相比,所提出算法的优点在于只考虑了函数值信息,使其更适用于梯度信息获取困难的实际问题。

关键词：分布式在线优化对偶平均算法 Bandit反馈 regret界

在线全文

学校读者我要写书评

暂无评论

分布式在线共轭对偶梯度算法

阜阳师范学院学报（自然科学版） 2018年第4期35卷 63-68页

作者：吕净阁安徽理工大学数学与大数据学院安徽淮南232000

针对如何对动态环境下的流数据进行实时处理的问题,研究了一种基于权重平衡和共轭对偶梯度算法(CDG)的分布式在线学习优化算法—分布式在线共轭对偶梯度算法(DO-CDG)。首先,针对分布式在线优化问题,在CDG算法的基础上建立了数学模型并... 详细信息

针对如何对动态环境下的流数据进行实时处理的问题,研究了一种基于权重平衡和共轭对偶梯度算法(CDG)的分布式在线学习优化算法—分布式在线共轭对偶梯度算法(DO-CDG)。首先,针对分布式在线优化问题,在CDG算法的基础上建立了数学模型并设计了DO-CDG算法,并进行求解;其次,给出算法的regret界用于表征在线算法的优劣性,证明了当本地损失函数是强凸函数时,DO-CDG算法的收敛性以及本地估计的regret界关于时间的次线性;最后,经过数据仿真实验,证明了算法的收敛性。

关键词：在线学习 regret界分布式优化权重平衡