检索结果-南通市图书馆

振动与冲击 2012年第17期31卷 99-105页

作者：刘齐茂燕柳斌广西工学院土木建筑系广西柳州545006 广西大学土木建筑学院南宁530004

针对目前结构抗震优化设计方法存在优化效率低下的问题,提出一种高效的框架抗震优化设计方法。在有限元法和Newmark法基础上导出一种高效的层间相对位移对设计变量一阶和二阶导数的算法,建立显含时间参数,以结构质量最小化为目标,同时... 详细信息

针对目前结构抗震优化设计方法存在优化效率低下的问题,提出一种高效的框架抗震优化设计方法。在有限元法和Newmark法基础上导出一种高效的层间相对位移对设计变量一阶和二阶导数的算法,建立显含时间参数,以结构质量最小化为目标,同时满足层间相对位移和设计变量约束的优化数学模型,通过积分型内点罚函数将显含时间参数的不等式约束优化问题转变为一系列不含时间参数的无约束优化问题,利用层间相对位移对设计变量一阶和二阶导数的信息计算罚函数的梯度和海森矩阵,然后利用梯度和海森矩阵构造求解优化设计问题高效有效的优化算法。算例表明该抗震优化方法能获得结构的最优设计,具有简单、下降速度快、不需要进行一维搜索等特点。是一种有效和高效的框架抗震二阶优化方法。

关键词：结构优化设计抗震优化设计框架梯度海森矩阵二阶优化方法层间位移敏度分析

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

深度学习中的自然梯度下降算法

深度学习中的自然梯度下降算法

引用

作者：刘小雷天津大学

学位级别：硕士

在深度学习中,二阶优化方法可以加速模型的训练,但是对于有着海量参数的深度神经网络,二阶优化方法由于其巨大的存储和计算成本难以有效地被应用。因此,近些年的研究中提出了许多深度学习中的近似二阶优化算法。自然梯度下降算法也可以... 详细信息

在深度学习中,二阶优化方法可以加速模型的训练,但是对于有着海量参数的深度神经网络,二阶优化方法由于其巨大的存储和计算成本难以有效地被应用。因此,近些年的研究中提出了许多深度学习中的近似二阶优化算法。自然梯度下降算法也可以被看作是一种二阶优化方法,近几年其在深度学习中的应用引起了广泛关注,其中K-FAC算法提供了一种近似自然梯度的有效方法。与一阶优化算法相比,尽管K-FAC算法对自然梯度下降算法进行了合理近似,但其计算成本仍然很高,实际应用中不具有太大的优势。受K-FAC算法的启发,本文提出了两种新的近似自然梯度下降算法。首先,在K-FAC算法的基础上,结合在训练中逐渐增加逆矩阵的更新间隔,基于Fisher信息矩阵迹的变化判断是否更新矩阵,结合硬件优势进一步切分矩阵维度的思想,提出了基于迹的硬件驱动的面向层的自然梯度下降算法(THOR算法)。此外,受拟牛顿法的启发,通过对Fisher信息矩阵进行合理的低秩近似,进而利用Sherman-Morrison公式进行求逆运算,大大降低了逆矩阵的计算成本,提出了低秩近似的自然梯度下降算法(lr-NGD算法)。最后,在CIFAR-10、CIFAR-100和Image Net等常用数据集上进行了实验,实验结果表明,THOR算法和lr-NGD算法在保持和K-FAC算法类似训练效果的同时,减少了大量的训练时间,而且与一阶优化算法相比,在训练时间上仍具有较大的优势。

关键词：自然梯度下降算法深度学习二阶优化方法 Fisher信息矩阵

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用于深度学习的一种改进L-BFGS算法

用于深度学习的一种改进L-BFGS算法

引用

作者：赵睿颖天津大学

学位级别：硕士

一阶优化方法如随机梯度下降法具有迭代成本低,操作易于实现等优点,但是具有收敛速率较慢以及需要不断地调整超参数等缺点。二阶优化方法由于能够减少迭代次数、加快收敛速度以及减少超参数的调整,近些年得到了大量的研究。由于深度学... 详细信息

一阶优化方法如随机梯度下降法具有迭代成本低,操作易于实现等优点,但是具有收敛速率较慢以及需要不断地调整超参数等缺点。二阶优化方法由于能够减少迭代次数、加快收敛速度以及减少超参数的调整,近些年得到了大量的研究。由于深度学习中拥有海量的参数,一般的二阶优化方法如牛顿法在计算目标函数真正的Hessian矩阵时需要花费大量的计算费用,因此难以直接应用到深度学习中。而拟牛顿法仅需要一阶梯度信息,通过正定矩阵来近似Hessian矩阵的逆矩阵,显著地降低了计算的复杂度,更加适用于深度学习。拟牛顿法是深度学习中比较受欢迎的一种算法,L-BFGS算法是一种常用的拟牛顿算法。本文提出了一种改进的L-BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似。改进算法将迭代方向进行单位化,并证明了算法的收敛性。本文的主要创新点在于利用线性组合来更新向量对以及迭代方向的单位化。本文在MNIST和CIFAR10数据集上进行了实验,结果表明改进的算法具有更好的稳定性,与带动量的随机梯度下降法、Ada Grad以及L-BFGS等算法相比,具有更好的实验表现。

关键词：深度学习二阶优化方法拟牛顿法 L-BFGS算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Sherman-Morrison公式的K-FAC算法

引用

计算机系统应用 2021年第4期30卷 118-124页

作者：刘小雷高凯新王勇天津大学数学学院天津300350

二阶优化方法可以加速深度神经网络的训练,但是二阶优化方法巨大的计算成本使其在实际中难以被应用.因此,近些年的研究提出了许多近似二阶优化方法的算法.K-FAC算法提供了一种近似自然梯度的有效方法.在K-FAC算法的基础上,结合拟牛顿方... 详细信息

二阶优化方法可以加速深度神经网络的训练,但是二阶优化方法巨大的计算成本使其在实际中难以被应用.因此,近些年的研究提出了许多近似二阶优化方法的算法.K-FAC算法提供了一种近似自然梯度的有效方法.在K-FAC算法的基础上,结合拟牛顿方法的思想,提出了一种改进的K-FAC算法.在开始的少量迭代中利用KFAC算法计算,在后续迭代中构造秩–1矩阵,通过Sherman-Morrison公式进行计算,大大降低了计算复杂度.实验结果表明,改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现.特别的,改进的K-FAC算法与KFAC算法相比减少了大量的训练时间,而且与一阶优化方法相比,在训练时间上仍具有一定的优势.

关键词：深度学习二阶优化方法 K-FAC算法 Sherman-Morrison公式 Fisher信息矩阵

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

用于深度学习的一种改进L-BFGS算法

引用

首都师范大学学报（自然科学版） 2021年第5期42卷 8-14页

作者：赵睿颖天津大学数学学院天津300350

本文提出了一种改进的L⁃BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似.改进算法将迭代方向进行单位化,以保证所提算法的稳定性.在MNIST和CIFAR10数... 详细信息

本文提出了一种改进的L⁃BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似.改进算法将迭代方向进行单位化,以保证所提算法的稳定性.在MNIST和CIFAR10数据集上进行了实验,结果表明改进的算法具有更好的稳定性,与带动量的随机梯度下降法、AdaGrad以及L⁃BFGS等算法相比,具有更好的实验表现.

关键词：深度学习二阶优化方法拟牛顿法 L⁃BFGS算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：