检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一类非光滑凸优化问题的邻近梯度算法

运筹学学报 2021年第1期25卷 61-72页

作者：李红武谢敏张榕北京工业大学应用数理学院北京100124 南阳师范学院数学与统计学院河南南阳473061 汉能薄膜发电集团总部北京100101

考虑求解目标函数为光滑损失函数与非光滑正则函数之和的凸优化问题的一种基于线搜索的邻近梯度算法及其收敛性分析,证明了在梯度局部Lipschitz连续条件下该算法是R-线性收敛的,并在非光滑部分为稀疏块LASSO正则函数情况下给出了误差界... 详细信息

考虑求解目标函数为光滑损失函数与非光滑正则函数之和的凸优化问题的一种基于线搜索的邻近梯度算法及其收敛性分析,证明了在梯度局部Lipschitz连续条件下该算法是R-线性收敛的,并在非光滑部分为稀疏块LASSO正则函数情况下给出了误差界条件成立的证明,得到了线性收敛率。最后,数值实验结果验证了方法的有效性。

关键词：非光滑凸优化邻近梯度法局部Lipschitz连续误差界线性收敛

在线全文

学校读者我要写书评

暂无评论

求解非光滑凸优化问题的两种双稳定束方法

求解非光滑凸优化问题的两种双稳定束方法

作者：欧小梅广西大学

学位级别：硕士

非光滑优化是最优化理论与方法的重要分支,也是国内外众多学者追踪研究的一个热点领域,其广泛应用于数据挖掘、神经网络学习、机器学习、图像恢复、工程学等实际领域.一直以来,国内外学者致力于设计快速而高效的优化算法用于求解非光滑... 详细信息

非光滑优化是最优化理论与方法的重要分支,也是国内外众多学者追踪研究的一个热点领域,其广泛应用于数据挖掘、神经网络学习、机器学习、图像恢复、工程学等实际领域.一直以来,国内外学者致力于设计快速而高效的优化算法用于求解非光滑优化.在求解非光滑优化的众多方法中,束方法既是主流方法也是国际上研究的热点之一,其主要特点是:每次迭代时储存之前迭代所产生的一组(束)迭代点的信息,然后通过利用前面所存储的迭代点的信息来产生新的迭代点.束方法发展至今有了较为丰硕的理论研究成果,因此,将束方法的相关理论与方法进行研究推广,从而设计出快速而高效的优化算法去求解非光滑优化具有重要的理论意义与实际应用价值.束方法主要包括邻近束方法与水平束方法等,本学位论文结合了以上两类方法的稳定性,提出两种求解非光滑凸优化的新型双稳定束方法,旨在加快算法的收敛速度,提升理论与数值效果.首先,基于经典的双稳定束方法,引入多步加速策略,提出求解非光滑凸优化的加速双稳定束方法.该方法的主要特点有:第一,相比传统的双稳定束方法只利用一个迭代点列,加速双稳定束方法引入三个相关的迭代点列,分别用于建立目标函数的割平面模型,产生稳定中心(算法迭代到当前所产生的“最好”的点)和控制迭代点列,每个点列各司其职.第二,算法融合了传统邻近束方法和水平束方法的稳定性,使得算法的稳定性更好,从而获得更好的数值效果.第三,分析论证算法具有全局收敛性.此外,通过对迭代点列的参数的选取,加速双稳定束方法可回到传统的双稳定束方法.其次,提出一个带非欧氏范数的双稳定束方法.主要是基于双稳定束方法,引入邻近函数,对传统的双稳定束方法子问题进行改进.在产生新迭代点的二次规划子问题中引入邻近函数代替传统的欧氏距离,使得计算上更能充分利用可行集的几何结构.算法融合了传统邻近束方法和水平束方法的稳定性,从而具备更好的理论性质.分析论证得到,算法具备全局收敛性.此外,当邻近函数取为特殊的函数时,算法可回到原始的双稳定束方法.最后,对本学位论文提出的加速双稳定束方法进行编程做初步的数值测试,数值结果表明该算法优于传统的双稳定束方法.

关键词：非光滑凸优化双稳定束方法多步加速策略邻近函数全局收敛性

一类非光滑凸优化问题的邻近梯度算法分析及研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一类非光滑凸优化问题的邻近梯度算法分析及研究

作者：谢敏北京工业大学

学位级别：硕士

本文研究目标函数为光滑损失函数与非光滑正则函数之和的凸优化问题,它在现代统计学、信号处理和机器学习均有应用,如:信号去噪音、压缩感知、稀疏线性回归和高维多项式分类、变量选择和特征提取等,是近几年研究的热点.当邻近算子方便... 详细信息

本文研究目标函数为光滑损失函数与非光滑正则函数之和的凸优化问题,它在现代统计学、信号处理和机器学习均有应用,如:信号去噪音、压缩感知、稀疏线性回归和高维多项式分类、变量选择和特征提取等,是近几年研究的热点.当邻近算子方便求解时,邻近梯度法(PGM)是解决此类问题的有效算法.该方法的迭代由一个梯度步和一个邻近步组成.PGM一般在可微函数梯度Lipschitz连续的条件下得到次线性收敛率O(1/k),在目标函数满足某些条件时才能获得线性收敛率.然而Lipschitz假设条件常常限制了算法的应用,为此,许多研究工作松弛Lipschitz假设条件.本文给出了梯度局部Lipschitz连续条件下邻近梯度算法的收敛性分析.即线搜索选取的步长有界,有关目标函数值结果,算法的充分下降性及R线性收敛性.并在非光滑部分为稀疏块LASSO正则函数情况下给出了误差界条件成立的证明,从而得到了线性收敛率.最后我们求解了具体的优化问题,数值实验结果验证了我们的理论分析.本文作如下安排:第一章介绍了优化模型的研究意义、PGM的进展和本文的主要内容;第二章给出邻近梯度算法,并在梯度局部Lipschitz连续条件下分析算法的收敛性及复杂度;第三章考虑非光滑部分为稀疏块Lasso正则函数,通过两个引理在放松了损失函数具有全局Lipschitz连续梯度限制的条件下证得误差界条件成立;第四章对数值实验结果进行分析并且总结了全文。

关键词：非光滑凸优化邻近梯度法局部Lipschitz连续误差界线性收敛

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

求解两类非光滑凸优化问题的非精确束方法

求解两类非光滑凸优化问题的非精确束方法

作者：董小霞广西大学

学位级别：硕士

对于非光滑优化问题,如极大极小问题、两阶段随机规划问题等,这些问题很难计算精确的一阶信息(函数值和次梯度),以致于基于精确数据的非光滑优化方法计算速度较慢,甚至不能求解.因此,如何建立可行且高效的非光滑优化方法求解这些问题,... 详细信息

对于非光滑优化问题,如极大极小问题、两阶段随机规划问题等,这些问题很难计算精确的一阶信息(函数值和次梯度),以致于基于精确数据的非光滑优化方法计算速度较慢,甚至不能求解.因此,如何建立可行且高效的非光滑优化方法求解这些问题,成为国内外优化学者研究的热点课题.本文针对上述困难,提出了求解两类非光滑凸优化问题的非精确束方法.首先,针对一类凸集约束非光滑优化问题,提出了基于按需精度近似一阶信息的邻近投影束方法.该近似一阶信息的获取依赖于两个额外的参数,分别是下降目标和误差界.根据这两个参数的不同选取,其包括精确、部分非精确、非精确、渐进精确和部分渐进精确一阶信息五种类型.该方法通过引入指示函数将其转化为等价的非光滑无约束凸优化问题,每次迭代交替求解两个基于近似一阶信息的子问题,分别是邻近子问题和投影子问题,其中,邻近子问题是对目标函数的多面体模型保持不变、指示函数进行线性化;投影子问题是对多面体模型进行线性化、指示函数保持不变.求解邻近子问题是为了产生目标函数的一个近似线型化模型;求解投影子问题是为了得到试探点.最后,建立了该算法在近似一阶信息不同类型下的全局收敛性.其次,针对一类特殊结构的无约束凸优化问题,其目标函数是两个非光滑凸函数的和,提出了基于按需精度近似一阶信息的交替线性化束方法.该近似一阶信息同样包含上述五类近似一阶信息.该方法每次迭代交替求解两个基于近似一阶信息的子问题.每一个子问题分别对其中一个函数进行线性化,另一个函数保持不变.最后,建立了该算法在近似一阶信息不同类型下的全局收敛性.最后,对本学位论文提出的非精确束方法进行初步的数值实验,针对各类近似一阶信息,测试来源于电信设计和货运车辆路径领域的二阶段随机规划问题,并且与现有的方法进行比较,本文所提出的非精确束方法在数值效果上更有优势.

关键词：非光滑凸优化邻近束方法交替线性化按需精度全局收敛性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一类修正邻近梯度法及其收敛性

数学物理学报（A辑） 2015年第6期35卷 1136-1145页

作者：李英毅张海斌高欢北京工业大学应用数理学院北京100124

许多现代统计和信号应用问题都可以归结为非光滑凸优化问题,该文提出了一类适用于求解非光滑凸优化问题的修正邻近梯度法.算法的特点是采用一个自适应步长,并且该算法的线性收敛性不需要目标函数的强凸性作为前提.

关键词：非光滑凸优化修正邻近梯度法线性收敛性.

在线全文

学校读者我要写书评

暂无评论

凸优化问题几类束方法对偶问题的研究

凸优化问题几类束方法对偶问题的研究

作者：李轩辽宁师范大学

学位级别：硕士

对于无约束优化问题,在迫近束方法思想基础上,相关文献从对偶空间角度通过求解带有二次项的原问题的等价稳定子问题,得到了原问题近似解的表达形式以及与其解相关的重要性质.这些重要结果都成为此后我们进一步深入研究非光滑优化束方法... 详细信息

对于无约束优化问题,在迫近束方法思想基础上,相关文献从对偶空间角度通过求解带有二次项的原问题的等价稳定子问题,得到了原问题近似解的表达形式以及与其解相关的重要性质.这些重要结果都成为此后我们进一步深入研究非光滑优化束方法的理论基础.本文中,我们继续以迫近束方法的思想为基础,将无约束优化问题等价于一系列带有特殊范数标准的二次规划子问题来求解,从对偶空间角度,运用对偶定理将原问题的求解转化为其对偶问题的求解,仍然从问题的解的表达形式入手,不仅研究其解的表达形式,而且也得到了与解有关的重要性质.鉴于许多带有约束的优化问题都可以转化为无约束优化问题进行求解,本文又针对带有非光滑约束的优化问题,单纯应用迫近束方法从对偶角度对其进行研究.进一步,在迫近束方法的思想基础上将水平束方法与其结合,应用双稳定束方法来解决此约束优化问题.从其对偶问题的角度,研究其解的形式及相关性质,发现不但解的表示形式不尽相同,且其与之前迭代点的次梯度的凸组合有关,而且次梯度值和额定下降都与单纯用迫近束方法从对偶问题角度解无约束优化问题时有相类似的性质.本论文主要从对偶空间角度应用不同类型的束方法,以研究无约束优化问题得到的重要结果为理论依据,研究带有约束的非光滑优化问题.全文分为三个部分,其主要内容如下:第一章,首先结合非光滑优化问题的历史背景与研究现状对束方法的重要性以及发展历程进行介绍.目标函数的非光滑性使优化问题的求解面临重重困难,为克服计算上以及理论分析上的障碍,许多方法应运而生,束方法就是其中之一.我们将分别对最速下降法、黑盒子方法和一般束方法如何求解无约束优化问题的基本思想进行介绍,为第二章和第三章中问题的深入研究做理论铺垫.第二章,首先介绍非光滑迫近束方法的提出及其基本思想.本章中,将主要运用迫近束方法思想,将无约束原始问题转化成一系列二次惩罚子问题来求解,从对偶空间角度,对惩罚子问题展开研究,并在其对偶空间内展开相关性质的探讨与证明,验证是否可以刻画原问题与对偶问题之间的关系,以得到与前人文章中相类似的子问题最优解的具体表达形式.进一步,总结出问题最优解与之前迭代点的次梯度的凸组合之间的关系,及次梯度和额定下降的相关性质.其次,我们继续使用迫近束方法,应用上述思想,将带有约束的非光滑优化问题进行等价变换,应用指示函数方法将约束优化问题转化为无约束优化问题,得到相类似的重要结论.第三章,主要介绍非光滑双稳定束方法的提出及其基本思想的运用.首先,我们运用迫近束方法和水平束方法的思想,将以非光滑凸函数为目标函数,以非空闭凸集为约束集合的原始优化问题转化成一系列带有水平约束的二次规划子问题来求解,并进一步应用指示函数方法将约束优化问题转化为无约束优化问题.接下来我们继续针对双稳定性束方法,类似地,从对偶空间角度,找到惩罚子问题的对偶问题,并在其对偶空间里展开相关性质的探讨与证明,验证是否可以深入刻画原问题与对偶问题之间的关系,从而得到与第二章中相类似的问题最优解的具体表达形式.最后,找出了原问题的最优解与之前迭代点的次梯度的凸组合之间的关系,以及次梯度和额定下降的相关性质.

关键词：非光滑凸优化次梯度切平面束方法对偶问题

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高维相关矩阵稀疏估计问题的优化算法研究

高维相关矩阵稀疏估计问题的优化算法研究

作者：丁雯雯河南大学

学位级别：硕士

协方差矩阵估计或相关矩阵估计是统计学领域中的经典问题,在经济、金融、社交网络、基因排序等高维数据分析领域中有着广泛的应用.统计分析和优化算法的结合是目前最新的研究趋势,并且数值最优化算法被广泛应用于求解统计领域中的优化模... 详细信息

协方差矩阵估计或相关矩阵估计是统计学领域中的经典问题,在经济、金融、社交网络、基因排序等高维数据分析领域中有着广泛的应用.统计分析和优化算法的结合是目前最新的研究趋势,并且数值最优化算法被广泛应用于求解统计领域中的优化模型.交替方向乘子法和加速临近梯度算法迭代形式简单、存储量低,是求解可分离凸优化问题的高效算法.本文重点研究交替方向乘子法和加速临近梯度算法在高维相关矩阵稀疏估计问题中的应用,分析算法的收敛性,并使用模拟数据测试算法的有效性.第一章,先简单介绍统计学基本概念,然后介绍优化基础知识;简单回顾协方差矩阵和相关矩阵估计问题以及求解方法,并列出本文所使用的符号、概念等.第二章,简单回顾经典交替方向乘子法、广义交替方向乘子法、对称交替方向乘子法和加速临近梯度算法,并给出相应的收敛性定理,简单陈述本文的主要研究动机和贡献.第三章,基于 Cui,Leng&Sun(*** Anal.2016)和 Liu,Wang&Zhao(***.2014)提出的高维稀疏相关矩阵估计模型,提出一种带有最大最小特征值显式约束的相关矩阵估计新模型,然后利用交替方向乘子法求解.在适当条件下分析算法的收敛性,数值试验验证算法的有效性和模型的优越性.第四章,基于第三章提出的相关矩阵估计新模型,推导其对偶模型.对偶模型含有光滑项和非光滑项并具有可分离结构.利用加速临近梯度算法求解.最后给出算法收敛性定理,使用模拟数据测试算法的有效性和模型的优越性.第五章,总结全文并给出一些值得进一步研究的方向.

关键词：相关矩阵估计非光滑凸优化增广拉格朗日函数交替方向乘子法加速临梯度算法

交替方向乘子法及在逆协方差矩阵估计中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

交替方向乘子法及在逆协方差矩阵估计中的应用

作者：杨冠雨河南大学

学位级别：硕士

交替方向乘子法是增广拉格朗日乘子法的一种分裂形式,因其迭代形式简单,存储量低等优点,非常适合求解大规模可分离结构凸优化问题.逆协方差矩阵估计是统计学领域的经典问题,在经济,金融,社交网络,基因排序等高维数据分析领域有着广泛的... 详细信息

交替方向乘子法是增广拉格朗日乘子法的一种分裂形式,因其迭代形式简单,存储量低等优点,非常适合求解大规模可分离结构凸优化问题.逆协方差矩阵估计是统计学领域的经典问题,在经济,金融,社交网络,基因排序等高维数据分析领域有着广泛的应用.本论文重点研究求解非光滑可分离凸优化问题的线性化交替方向乘子法,分析算法的收敛性,并测试其在高维逆协方差矩阵估计中的数值有效性.第一章,简单介绍求解可分离结构凸优化问题的交替方向乘子法的迭代形式,总结此算法的部分研究成果;简单回顾逆协方差矩阵估计问题及其模型,并列出求解该模型的知名算法;最后,简单陈述本文的主要贡献,并列出本文所使用的符号,概念等.第二章,首先基于线性化技术,提出求解凸优化问题的交替方向乘子法,分析此算法与Xu和Wu所提线性化交替方向乘子法的关系.然后对G auss-Seiddel迭代产生的点列进行松弛,并说明该松弛步可看做是Eckstein和Bertsekas所提广义交替方向乘子法的推广.在一定条件下,分析算法的收敛性质.第三章,推广第二章中所提的算法用来求解高维逆协方差矩阵估计问题.证明算法的收敛性,并通过数值试验验证算法的有效性.最后,添加自适应校正项改进逆协方差矩阵估计问题的模型,通过数值试验验证算法及模型的优越性.第四章,总结全文并给出一些值得进一步研究的问题.

关键词：非光滑凸优化交替方向乘子法临近点算法逆协方差矩阵估计全局收敛性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一个求解不可微凸优化的新算法

南京晓庄学院学报 2012年第6期28卷 8-12页

作者：后六生南京晓庄学院数学与信息技术学院江苏南京211171

该文结合文献[1]Chen和Fukushima的邻近点拟牛顿方法和过滤集技术,给出了一个求解不可微凸优化问题的新算法.与Chen和Fukushima的方法不同,新算法不用线搜索,而是用过滤集构造接受准则,并借助于过滤集技术,证明了算法的整体收敛性.

关键词：非光滑凸优化邻近点方法拟牛顿方法过滤集捆集