检索结果-南通市图书馆

作者：马龙重庆师范大学

学位级别：硕士

交替方向乘子法（ADMM）是一种求解可分离凸优化问题的有效工具,在诸多领域都有着广泛的应用.相比于原始ADMM,广义交替方向乘子法在迭代速度和数值效果上均有着明显的优势.近年来,学者们对ADMM的研究不断深入和完善.本文主要研究了求解... 详细信息

交替方向乘子法（ADMM）是一种求解可分离凸优化问题的有效工具,在诸多领域都有着广泛的应用.相比于原始ADMM,广义交替方向乘子法在迭代速度和数值效果上均有着明显的优势.近年来,学者们对ADMM的研究不断深入和完善.本文主要研究了求解带有线性等式约束的两块可分离凸优化问题的不定邻近项广义Peacemen-Rachford（PR）分裂法和惯性邻近广义交替方向乘子法.第一部分,在广义PR分裂法中改变其y-子问题中的组合系数,并引入不定邻近项,提出一种带有不定邻近项的广义PR分裂法.在一些较弱的条件下,证明了该算法的全局收敛性,以及建立起了在遍历情形下的最坏（46）（1 t）收敛速率,其中t表示迭代次数,并且得到邻近参数?的一个很好的下界,解决了在实际应用中?值选取困难的问题.此外,利用数值实验进一步说明了该下界和所提算法的有效性.第二部分,最近提出的惯性邻近PR分裂方法,是半邻近PR分裂方法的一种改进方法.基于这种思想,在原有的邻近广义交替方向乘子法（SGADMM）的基础上,引入惯性技术,提出了一种惯性邻近广义交替方向乘子法.该方法利用当前迭代信息与上一步迭代信息产生新的迭代点,从而加速了SGADMM的收敛.所提方法更具有一般性,惯性邻近ADMM、原始ADMM和SGADMM均可视为其特殊情况.该方法还拥有较大的松弛参数范围,在实际问题的应用中,更有利于参数值的选取.对于任意惯性序列,无法保证所提算法的收敛性,但在对惯性序列作出简单的假设下,证明了该方法的全局收敛性.进一步地,通过数值实验说明了该算法是一种有效的方法.

关键词：凸优化 Peaceman-Rachford分裂法不定性邻近项邻近交替方向乘子法惯性技术全局收敛性

一类ADMM框架下的算法的次线性收敛率分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一类ADMM框架下的算法的次线性收敛率分析

作者：叶晓倩重庆师范大学

学位级别：硕士

交替方向乘子法(ADMM)及其框架下的其他算法是求解可分离凸优化问题的一类经典方法,适用于求解大规模分布式问题.ADMM在机器学习、图像处理、统计学习和相关领域有广泛的应用.相对于ADMM,交替邻近梯度法(APGM)和邻近交替方向乘子法(P-AD... 详细信息

交替方向乘子法(ADMM)及其框架下的其他算法是求解可分离凸优化问题的一类经典方法,适用于求解大规模分布式问题.ADMM在机器学习、图像处理、统计学习和相关领域有广泛的应用.相对于ADMM,交替邻近梯度法(APGM)和邻近交替方向乘子法(P-ADMM)不仅xi-子问题更易于求解,而且还具有闭形式的解的优点.对于给出的目标函数为多个凸函数的和且具有线性约束的可分离凸规划问题,本文主要分别研究了三块的交替邻近梯度法和多块的邻近交替方向乘子法在遍历意义和非遍历意义下的次线性收敛率为的一些充分条件.本文的主要内容安排如下:1.第一章简要叙述了可分离凸规划问题以及与其相关的ADMM框架下的算法的研究意义,并对可分离凸规划问题及其与本文相关的研究方向的研究现状进行了简要综述,继而提出了本文主要研究内容.2.第二章给出了能保证具有线性约束且目标函数为3块的可分凸函数的优化问题的APGM的次线性收敛速度的充分条件,特别是当其中一个函数是凸的(不一定是强凸的),而另2个函数是强凸的,罚参数在某个区域内时,APGM在遍历意义和非遍历意义下的收敛速度分别为O(1/t)和o(1/t),其中t表示迭代次数.并给出了在不附加强凸条件下,具有线性约束且目标函数为2块的可分凸函数的优化问题的APGM收敛的一个简单证明.3.第三章考虑一类目标函数为m(m ≥ 3)个凸函数的和且具有线性约束的多块可分离结构凸规划问题.P-ADMM是解决该问题的一种有效方法.本注给出了一个充分条件,确保具有线性约束且目标函数为m(m ≥ 3)块的可分凸函数的优化问题的P-ADMM在遍历意义下和非遍历意义下分别具有O(1/t)和o(1/t)的次线性收敛率,其中t代表迭代次数.并在不要求任何一个函数强凸的条件下,给出了具有线性约束且目标函数为2块的可分凸函数的优化问题邻近交替方向乘子法收敛的-个简单证明.

关键词：交替邻近梯度法邻近交替方向乘子法遍历意义非遍历意义次线性收敛率

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于稀疏正则化的神经网络剪枝研究

基于稀疏正则化的神经网络剪枝研究

作者：柳智华南理工大学

学位级别：硕士

随着深度学习技术在日常生活中需求的增加,深度神经网络模型也开始得到广泛的应用,将神经网络模型导入移动设备和嵌入式系统中也成为不可避免的趋势,而神经网络参数冗余问题一直是阻碍神经网络推断和难以将其嵌入至移动设备的主要原因.... 详细信息

随着深度学习技术在日常生活中需求的增加,深度神经网络模型也开始得到广泛的应用,将神经网络模型导入移动设备和嵌入式系统中也成为不可避免的趋势,而神经网络参数冗余问题一直是阻碍神经网络推断和难以将其嵌入至移动设备的主要原因.论文针对神经网络模型复杂度高、参数冗余而导致的计算成本大和内存资源占比高等问题,提出一种有效的神经网络剪枝方法,该方法通过对神经网络训练模型中引入零模正则项来促使模型权重稀疏,并通过删减取值为零的权重来压缩模型.对所提出的零模正则神经网络训练模型,文中通过建立其等价MPEC形式的全局精确罚得到了等价的局部Lipschitz代理.基于等价局部Lipschitz代理,对Sigmod激活函数所诱导的光滑损失模型,设计了邻近交替方向乘子法对网络进行训练、剪枝.文中构造了势函数,得到了它的充分下降性及前后迭代点的次微分下界,并借助势函数的KL性质证明了算法的全局收敛性;对Re Lu激活函数所诱导的非光滑损失模型,通过引入变量,将非凸非光滑极小化问题转化为带等式约束的极小化问题,采用罚函数法将等式约束问题转化为罚问题.文中针对该罚问题设计了邻近块坐标下降算法求解,并构建了目标函数的充分下降性及前后迭代点的次微分下界.最后利用目标函数的KL性质证明了算法的全局收敛性.论文最后对提出的邻近交替方向乘子法在MLP、Le Net-5两种网络上进行数值实验;对提出的邻近块坐标下降法在MLP、Res Net两种网络上进行数值实验.在剪枝率和准确率结果上表明,本文方法有效的解决了神经网络参数冗余问题,降低了模型复杂度.与其他剪枝方法对比,有更好的稀疏效果,且方便实现,易推广.

关键词：神经网络剪枝零模正则邻近交替方向乘子法邻近块坐标下降法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

凸形状的二值刻画方法及应用

凸形状的二值刻画方法及应用

作者：陈金锋河南大学

学位级别：硕士

凸形状先验是人类视觉和形状完整性的重要线索之一,在图像处理和计算机视觉等领域受到广泛关注.本文主要研究凸形状的数学刻画方法及其在图像分割和凸包计算中的应用.通过相关目标示性函数的一系列二次不等式约束刻画凸形状,并提出带有... 详细信息

凸形状先验是人类视觉和形状完整性的重要线索之一,在图像处理和计算机视觉等领域受到广泛关注.本文主要研究凸形状的数学刻画方法及其在图像分割和凸包计算中的应用.通过相关目标示性函数的一系列二次不等式约束刻画凸形状,并提出带有凸形状先验的图像分割模型,以及给定数据集的凸包计算模型(无噪声和包含噪声数据集).由于这些模型具有相似的结构,本文将其归结为一个具有二次不等式约束的二值优化模型.为降低目标函数和约束条件中二次项的求解难度,本文首先对模型使用线性化技术,然后利用邻近交替方向乘子法进行求解.此外,在图像分割算法中加入交互式方法以提高图像质量和分割精度.为验证所提凸性刻画方式和邻近交替方向乘子法的有效性,本文分别在单目标,多目标以及凸环上进行图像分割实验,并与1-0-1方法和水平集函数方法进行效率比较.数值实验表明所提模型和求解算法在计算时间,shape-distance和Dice系数等方面具有明显优势.同时,本文在数据集无噪声和包含噪声的两种情况下,测试给定集合凸包计算的数值性能,实验结果表明所提方法在shape-distance指标下与水平集函数方法相比具有明显数值优势.最后,在多个相互独立的目标间隔足够远的情况下,验证仅使用一个示性函数刻画的凸形状先验仍然能够进行图像分割和凸包计算.

关键词：凸形状先验图像分割凸包计算邻近交替方向乘子法