检索结果-南通市图书馆

解决随机变分不等式问题的基于牛顿法的随机近似方法

在线全文

学校读者我要写书评

暂无评论

解决随机变分不等式问题的基于牛顿法的随机近似方法

作者：于得水大连理工大学

学位级别：硕士

近些年随机近似方法已被广泛应用于研究随机等式系统和随机优化问题.这些问题的函数值和一阶微分不能被直观的表达出来但能通过模拟的方法得到函数值和微分的近似.这篇文章中,我们应用随机近似(Stochastic approximation)方法去解决随... 详细信息

近些年随机近似方法已被广泛应用于研究随机等式系统和随机优化问题.这些问题的函数值和一阶微分不能被直观的表达出来但能通过模拟的方法得到函数值和微分的近似.这篇文章中,我们应用随机近似(Stochastic approximation)方法去解决随机变分不等式问题.研究基于牛顿方法的随机近似方法,在此方法中我们仅仅要求目标函数是局部Lipschitz连续的.我们提出相应的算法,并证明了它的局部收敛性.给出该方法具体应用到目标函数为分段光滑函数、复合映射和半光滑函数中时所采用的牛顿近似序列.

关键词：随机变分不等式随机近似牛顿近似

由Hebbian规则引出的随机近似学习算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

由Hebbian规则引出的随机近似学习算法

1999年中国神经网络与信号处理学术会议

作者：梁朴南开大学数学科学院

本文概要地介绍了由神经网络中的Hebbian规则引出的几种类型随机近似学习算法的工作原理,并推广了其中的LPC学习算法的条件。

关键词：神经网络 Hebbian规则随机近似线性预测

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

小批量随机块坐标下降算法

运筹学学报 2022年第1期26卷 1-22页

作者：胡佳郭田德韩丛英中国科学院大学数学科学学院北京100049 中国科学院大数据挖掘与知识管理重点实验室北京100190

针对机器学习中广泛存在的一类问题:结构化随机优化问题(其中“结构化”是指问题的可行域具有块状结构,且目标函数的非光滑正则化部分在变量块之间是可分离的),我们研究了小批量随机块坐标下降算法(mSBD)。按照求解非复合问题和复合问... 详细信息

针对机器学习中广泛存在的一类问题:结构化随机优化问题(其中“结构化”是指问题的可行域具有块状结构,且目标函数的非光滑正则化部分在变量块之间是可分离的),我们研究了小批量随机块坐标下降算法(mSBD)。按照求解非复合问题和复合问题分别给出了基本的mSBD和它的变体,对于非复合问题,分析了算法在没有一致有界梯度方差假设情况下的收敛性质。而对于复合问题,在不需要通常的Lipschitz梯度连续性假设条件下得到了算法的收敛性。最后通过数值实验验证了mSBD的有效性。

关键词：块坐标下降随机近似随机(复合)优化 H?lder连续非光滑非凸优化

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

控制图经济设计的随机梯度优化方法

工程管理科技前沿 2022年第3期41卷 45-52页

作者：张公伯彭一杰杨书淮北京大学光华管理学院北京100871 北京大学工学院北京100871

控制图作为一种实施统计过程控制的工具,在现代制造业的质量管理中具有广泛应用。控制图的经济设计可以提高过程控制效率,降低过程控制成本。本文提出一种基于随机梯度估计的控制图经济设计优化方法,首先应用广义似然比法估计平均运行... 详细信息

控制图作为一种实施统计过程控制的工具,在现代制造业的质量管理中具有广泛应用。控制图的经济设计可以提高过程控制效率,降低过程控制成本。本文提出一种基于随机梯度估计的控制图经济设计优化方法,首先应用广义似然比法估计平均运行成本的梯度,并分别结合逐步增加仿真样本量和随机化仿真样本量的随机近似方法得到控制图的最优控制上界。最后,重点展开介绍了本文提出的控制图经济设计方法在休哈特控制图和指数加权移动平均控制图中的应用。

关键词：控制图随机梯度估计广义似然比法随机近似

Power Control Algorithm for Wireless Cellular System

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

自动化学报 2005年第2期31卷 239-247页

作者：蔡敏张焕水王伟 Research Center of Information and Control Dalian University of Technology Dalian 116023

A novel distributed power control algorithm based on interference estimation is presented for wireless cellular system. A classical result of stochastic approximation is applied in this *** power control algorithm is converted to seeking for the zero point problem of a certain *** this distributed power algorithm, each user iteratively updates its power level by estimating the interference. It does not require any knowledge of the channel gains or state information of other users. Hence, the proposed algorithm is robust. It is proved that the algorithm converges to the optimal solution by stochastic approximation approach.

关键词：无线蜂窝系统功率控制算法分布法则随机近似

在线全文

学校读者我要写书评

暂无评论

基于隐式随机梯度下降法的研究

基于隐式随机梯度下降法的研究

作者：张欣蕊吉林大学

学位级别：硕士

在统计和机器学习等领域,参数估计是一类值得研究的问题,广泛采取通过对目标函数进行优化的思想。然而,随着计算机的出现和信息时代的到来,有时需要处理数百万甚至数十亿个训练样本的优化问题,统计机器学习方法的能力受到计算时间而不... 详细信息

在统计和机器学习等领域,参数估计是一类值得研究的问题,广泛采取通过对目标函数进行优化的思想。然而,随着计算机的出现和信息时代的到来,有时需要处理数百万甚至数十亿个训练样本的优化问题,统计机器学习方法的能力受到计算时间而不是样本大小的限制,广泛使用的基于优化的估计方法无法应用于这些大规模的现代数据集中。在这样的背景下,随机梯度下降法逐渐引起人们的关注,这是一种递归估计方法,相比于传统的优化方法每一次估计都要遍历所有的数据集,这种方法每一步只需要利用少量的数据对模型参数进行更新,因此可以很方便的对大规模数据集求解参数估计。然而,传统的随机梯度下降法是数值不稳定的,如果选取较小的学习速率参数,收敛会变得缓慢;如果选取较大的学习速率参数,既会导致较大的渐进方差,同时也可能会导致数值发散。因此,需要谨慎选取学习速率参数的值。一些参数选择方法不断的被提出和改进,本文将会研究一种基于标准的随机梯度下降法的变体方法,即采取隐式更新的思路对传统的方法进行改进,本文称之为隐式随机梯度下降法,为了便于区分,称传统的随机梯度下降法为显式随机梯度下降法。本文的核心部分将会分别应用显式随机梯度下降法和隐式随机梯度下降法对两种经典的统计模型求解参数估计,为了保证结果的全面性和可靠性,分别选取一个典型的回归问题和一个典型的分类问题,即线性回归模型和logistic回归模型。针对两种随机梯度下降法,选取常用的三种参数选择方法,同时以R语言统计软件中最经典的方法1m(.)和glm(.)作为基准方法。通过实验结果可以看出,无论是对于回归问题,还是对于分类问题,相比于传统的方法,两种随机梯度下降法大大减少了执行时间,因此更适用于大规模的数据集。具体的,在某些参数选择方法下,应用显式随机梯度下降法估计的参数值与实际参数偏离较大,表现出了不稳定性,因此在实际应用的过程中需要对参数进行谨慎的选取。而相比较而言,隐式随机梯度下降法在三种参数选择方法下都是很稳定的。因此,相比于显式随机梯度下降法对学习速率参数的不稳定性,本文建议隐式随机梯度下降法是更优的,值得进一步研究和关注。

关键词：随机近似隐更新随机梯度下降大数据集

基于随机变分不等式的机器学习算法研究及应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于随机变分不等式的机器学习算法研究及应用

作者：杨澈洲重庆工商大学

学位级别：硕士

机器学习算法被广泛用于求解有关管理科学、交通运输、博弈论以及最优控制等领域的问题.然而,实际处理问题时往往会遇到一些随机因素,忽视这些因素将可能导致求解问题出现较大偏差,从而导致经济或社会利益受损;另一方面,随着大数据时代... 详细信息

机器学习算法被广泛用于求解有关管理科学、交通运输、博弈论以及最优控制等领域的问题.然而,实际处理问题时往往会遇到一些随机因素,忽视这些因素将可能导致求解问题出现较大偏差,从而导致经济或社会利益受损;另一方面,随着大数据时代的到来,实际问题中涉及大批量数据,这使得高效处理数据成为一项艰巨的任务.因此,研究求解随机情况的高效机器学习算法有着重要的现实和理论意义.随机变分不等式(Stochastic Variational Inequality,SVI)问题模型因其模型简单且适用于处理随机性机器学习算法问题,从而受到越来越广泛的关注.在求解SVI时,往往会遇到数学期望难以直接求解这个问题,现有的实值算法一般不能直接用于求解SVI.如何设计高效的数值算法对SVI进行求解,已成为学者们广为讨论的问题之一.此外,算法求解问题时的可行集问题成为了影响算法设计的重要因素之一.因此,选取更加广泛的可行集能使得算法更加高效,应用范围更广.一些算法采用欧几里得距离,这往往不允许算法考虑可行集的结构,从而无法有效地解决问题.一种可行的方法是选择更有效的距离函数,比如布雷格曼(Bregman)距离.这允许算法在求解问题时可选择更加广泛的可行集,从而高效地对问题进行求解.另一方面,有关实际应用随机Bregman算法求解SVI的研究现在还处于起步阶段.如何将实际问题进行建模并转换为SVI问题模型,然后使用随机Bregman算法进行求解,成为了学者们共同探讨的课题之一.本文首先研究带有期望的SVI,提出了两类共三种Bregman数值算法,然后证明了算法的几乎处处收敛性、收敛率与复杂度.最后,将提出算法应用于求解四类实际问题,这为求解类似情景的机器学习算法问题提供了一定的理论与实际价值.本文主要研究内容与创新点如下:第一,提出了求解随机变分不等式问题的Bregman反射梯度算法,该算法与经典方差下降外梯度算法相比,每次循环时仅采用一步投影,这能有效节省算法求解问题的CPU耗时.新算法采用Bregman距离,相比于欧几里得距离,算法可行集更广,这使得算法适应性更广,效率更高.在Minty不等式条件下分析了算法的几乎处处收敛性,然后通过剩余价值函数度量了算法的收敛率与复杂度.结果证明,相比每次迭代中使用单样本信息的算法,提出的算法有更快的收敛率.第二,提出了求解随机变分不等式问题的Bregman邻近点算法,该算法利用单次调用(Single-Call)技术,每次迭代时仅在同一个样本空间中进行采样.相比于经典方差下降外梯度算法,新算法在进行动态样本采集时节省了时间,这使得算法更加高效求解问题.在此基础上,本文加入线搜索技术,提出了加入线搜索的Bregman邻近点算法.该算法通过线搜索法则自适应选择每次迭代循环时的步长,这使得算法求解问题更加精确.同样的,采用Bregman距离,这使得算法可适应更广泛的可行集,这使得算法更加有效,适用范围更广.在Minty不等式条件下证明了两个算法的处处收敛率,然后通过自然残差函数度量了算法的收敛率与复杂度.第三,首先将机器学习算法问题中的稀疏二分类、随机互补、随机分式约束优化与随机网络Nash-Cournot四类问题模型转换为SVI问题模型,然后应用本文提出的随机Bregman算法进行求解,为设计高效机器学习算法并用于处理实际问题提供新的思路和方法.

关键词：随机变分不等式问题 Bregman 随机近似方差下降机器学习算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

求解无约束优化问题的随机三项共轭梯度法

应用数学进展 2022年第7期11卷 4248-4267页

作者：刘蕾薛丹青岛大学数学与统计学院山东青岛

为了求解无约束随机优化问题,我们提出了一种带方差缩减的随机三项共轭梯度法(STCGVR), 此方法可以用来解决非凸随机问题。在算法的每次内循环迭代开始时,三项共轭梯度方向以最速下降方向重新开始迭代,有效地提高了收敛速度。在适当... 详细信息

为了求解无约束随机优化问题,我们提出了一种带方差缩减的随机三项共轭梯度法(STCGVR), 此方法可以用来解决非凸随机问题。在算法的每次内循环迭代开始时,三项共轭梯度方向以最速下降方向重新开始迭代,有效地提高了收敛速度。在适当的条件下,讨论了该算法的性质和收敛性。数值结果表明,我们的方法对于求解机器学习问题具有巨大的潜力。

关键词：随机近似经验风险最小化三项共轭梯度机器学习方差缩减

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

一种求线性预测系数的神经网络方法

应用数学学报 2002年第3期25卷 422-429页

作者：梁朴南开大学数学科学院天津300071

本文把神经网络中的Hebbian规则用于线性预测的分析中,得到了一种求解线性预测系数（LPC）的随机近似算法.并完成了对这种算法的严格证明.

关键词：线性预测系数神经网络 Hebbian规则随机近似