检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

随机梯度下降算法研究进展

自动化学报 2021年第9期47卷 2103-2119页

作者：史加荣王丹尚凡华张鹤于西安建筑科技大学理学院西安710055 省部共建西部绿色建筑国家重点实验室西安710055 西安电子科技大学人工智能学院智能感知与图像理解教育部重点实验室西安710071 西安电子科技大学计算机科学与技术学院西安710071

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以... 详细信息

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向.

关键词：随机梯度下降算法机器学习深度学习梯度下降算法大规模学习逻辑回归卷积神经网络

在线全文

学校读者我要写书评

暂无评论

求解线性SVM的非精确步长搜索割平面方法

模式识别与人工智能 2014年第8期27卷 692-700页

作者：储德军陶安高乾坤姜纪远陶卿中国人民解放军陆军军官学院十一系合肥230031 中国人民解放军陆军军官学院训练部合肥230031 中国人民解放军陆军军官学院研究生管理大队合肥230031

割平面方法可高效求解线性支持向量机问题,其主要思路是通过不断添加割平面并利用精确线性搜索实现算法的加速和优化.针对其中的非光滑线性搜索问题,文中提出一种基于非精确步长搜索的加速割平面方法.该方法使用较少的迭代次数就能确定... 详细信息

割平面方法可高效求解线性支持向量机问题,其主要思路是通过不断添加割平面并利用精确线性搜索实现算法的加速和优化.针对其中的非光滑线性搜索问题,文中提出一种基于非精确步长搜索的加速割平面方法.该方法使用较少的迭代次数就能确定最优步长所在的子区间.在此基础上,用二点二次插值的闭式解逼近最优步长,从而较精确线性搜索方法速度更快、开销更小,且保持同样的收敛边界.大量实验表明,文中方法效率优于基于精确线性搜索的优化割平面方法,在一些数据库上的收敛速度甚至提升50%.

关键词：大规模学习凸优化线性支持向量机割平面方法线性搜索

在线全文

学校读者我要写书评

暂无评论

非均衡加权随机梯度下降SVM在线算法

计算机科学与探索 2017年第10期11卷 1662-1671页

作者：鲁淑霞周谧金钊河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的... 详细信息

随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的不平衡。为了处理大规模非均衡数据分类问题,提出了加权随机梯度下降的SVM在线算法,对于多数类中的样例被赋予较小的权值,而少数类中的样例被赋予较大的权值,然后利用加权随机梯度下降算法对SVM原问题进行求解,减少了超平面向少数类的偏移,较好地解决了大规模学习中非均衡数据的分类问题。

关键词：随机梯度下降(SGD) 权非均衡数据大规模学习支持向量机(SVM)

在线全文

学校读者我要写书评

暂无评论

一个新的自适应多级样本加权支持向量机

运筹学学报(中英文) 2024年

作者：周安娃周雨晴上海大学理学院

对于大规模不平衡数据分类问题,本文提出一种新的自适应多级样本加权支持向量机。特别地,在进行层级粗糙化阶段,提出了两种计算训练点体积的新公式,其同时考虑了同类别和不同类别邻近的训练点对该点的影响,较已有公式更具合理性。此外,... 详细信息

对于大规模不平衡数据分类问题,本文提出一种新的自适应多级样本加权支持向量机。特别地,在进行层级粗糙化阶段,提出了两种计算训练点体积的新公式,其同时考虑了同类别和不同类别邻近的训练点对该点的影响,较已有公式更具合理性。此外,在每一层级中采用样本加权支持向量机模型进行训练,其充分利用每层训练点的权重信息。对于人工数据集和实际数据集的数值实验表明,与以往的支持向量机模型相比,本文所提模型在分类准确率、分类质量和鲁棒性等方面均有显著提升。

关键词：不平衡数据分类问题加权支持向量机大规模学习多层级计算

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

随机梯度下降算法研究

随机梯度下降算法研究

作者：王丹西安建筑科技大学

学位级别：硕士

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法。随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题。随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,... 详细信息

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法。随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题。随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的。近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点。随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本。将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种。其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长。着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系。将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并数值地比较了这些算法的实际性能。针对方差缩减策略的两个主要缺点:“梯度僵化”与“忽略历史梯度信息”,提出了动量聚合校正的改进策略。这种策略能将梯度累积方差限制在一定范围内,避免由于梯度更新不足而陷入局部最优解。使用动量聚合校正策略对随机方差缩减梯度下降算法进行改进,提出了一种基于动量聚合校正的随机梯度下降算法MAC-SVRG,并通过理论分析和数值试验证明了这种算法的优越性。非负矩阵分解是随机梯度下降算法的重要应用场景,本文提出了一种基于动量聚合校正的非负矩阵分解算法MAC-SVRMU。这种算法在随机乘性更新算法的基础上结合了动量聚合校正策略,在人工合成数据集和真实数据集下都有较好的性能表现,能够快速、有效地使目标参数逼近最优解。文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向。

关键词：随机梯度下降算法机器学习深度学习梯度下降算法大规模学习非负矩阵分解逻辑回归