检索结果-南通市图书馆

基于自适应矩估计的在线投资组合梯度下降策略

在线全文

学校读者我要写书评

暂无评论

系统管理学报 2023年第2期32卷 343-354页

作者：何锦安彭方平殷仕成中山大学管理学院广州510275

对于在线投资组合选择问题,充分利用历史数据能有效地减少市场噪声对投资策略的影响,但这往往会导致策略计算效率降低。与其相对应的是,高频交易的日益发展与数据量的爆发式增长愈发要求投资策略具备高效的计算能力。为此,借助于自适应... 详细信息

对于在线投资组合选择问题,充分利用历史数据能有效地减少市场噪声对投资策略的影响,但这往往会导致策略计算效率降低。与其相对应的是,高频交易的日益发展与数据量的爆发式增长愈发要求投资策略具备高效的计算能力。为此,借助于自适应矩估计,以增量的方式利用历史数据,提出了一个基于自适应矩估计的在线投资组合梯度下降策略。理论分析表明,该策略具有泛证券性,即其与离线的最优定常再调整策略具有相同的渐近平均对数增长率;同时,该策略在充分利用历史数据的情况下依然保持线性时间复杂度。实证分析表明,该策略在收益以及计算时间等指标上表现出较好的性能,同时能承受合理的交易费用,故而具有良好的实际应用前景。

关键词：在线投资组合泛证券投资组合自适应矩估计梯度下降

在线全文

学校读者我要写书评

暂无评论

GDLIN:一种利用梯度下降的学习索引

计算机科学 2023年第S1期50卷 527-532页

作者：陈珊珊高隽马振禹南京邮电大学计算机学院南京210003

在大数据时代,数据访问速度是衡量大规模存储系统性能的一个重要指标,而索引是用于提升数据库系统中数据存取性能的主要技术之一。近几年,使用机器学习模型代替B+树等传统索引,拟合数据分布规律,将数据的间接查找优化为函数直接计算的... 详细信息

在大数据时代,数据访问速度是衡量大规模存储系统性能的一个重要指标,而索引是用于提升数据库系统中数据存取性能的主要技术之一。近几年,使用机器学习模型代替B+树等传统索引,拟合数据分布规律,将数据的间接查找优化为函数直接计算的学习索引(Learned Index,LI)被提出,LI提高了查询的速度,减少了索引空间开销。但是LI的拟合误差较大,不支持插入等修改性操作。文中提出了一种利用梯度下降算法拟合数据的学习索引模型GDLIN(A Learned Index By Gradient Descent)。GDLIN利用梯度下降算法更好地拟合数据,减少拟合误差,缩短本地查找的时间;同时递归调用数据拟合算法,充分利用键的分布规律,构建上层结构,避免索引结构随着数据量而增大。另外,GDLIN利用链表解决LI不支持数据插入的问题。实验结果表明,GDLIN在无新数据插入的情况下,吞吐量是B+树的2.1倍;在插入操作占比为50%的情况下,是LI的1.08倍。

关键词：学习索引梯度下降拟合数据模型链表

空间约束结合梯度下降法提高铝合金中Fe成分激光诱导击穿光谱技术检测精度

在线全文

学校读者我要写书评

暂无评论

物理学报 2021年第20期70卷 167-173页

作者：戴宇佳李明亮宋超高勋郝作强林景全长春理工大学理学院长春130022 长春理工大学化学与环境工程学院长春130022 山东师范大学物理与电子科学学院济南250358

铝合金中Fe元素的含量直接影响合金的塑性、耐热性、强度及抗应力腐蚀性能,其成分的定量分析是合金成分在线检测的重要环节.为了提高铝合金中Fe元素定量分析精度,把空间约束纳秒激光诱导击穿光谱技术与梯度下降法相结合.通过采集激光诱... 详细信息

铝合金中Fe元素的含量直接影响合金的塑性、耐热性、强度及抗应力腐蚀性能,其成分的定量分析是合金成分在线检测的重要环节.为了提高铝合金中Fe元素定量分析精度,把空间约束纳秒激光诱导击穿光谱技术与梯度下降法相结合.通过采集激光诱导铝合金等离子体发射光谱,发现在平板空间约束下的等离子体辐射强度有明显增强,在间距为10 mm时的等离子体发射光谱增强约2.3倍.分别利用内标法和梯度下降法建立定标模型,对比两种模型的拟合系数、均方根误差和平均相对误差.在平板约束条件下,相比于内标法,梯度下降法得到的Fe元素定量分析参数R2从95.22%提升到了99.22%,训练集均方根误差从质量分数0.1409%下降到了0.0731%,测试集均方根误差从质量分数0.1401%下降到了0.0756%,平均相对误差从6.8893%下降到3.5521%.与内标定标模型相比,梯度下降定标模型的精确度和稳定性都有所提高,空间约束LIBS结合梯度下降法可以有效地降低合金基体效应和自吸收效应对定量分析的影响.

关键词：激光诱导击穿光谱梯度下降空间约束铝合金

基于强化学习的倒立摆分数阶梯度下降RBF控制

在线全文

学校读者我要写书评

暂无评论

控制与决策 2021年第1期36卷 125-134页

作者：薛晗邵哲平方琼林刘晓佳集美大学航海学院福建厦门361021

为了提高强化学习的控制性能,提出一种基于分数梯度下降RBF神经网络的强化学习算法.通过评价神经网络和执行神经网络组成强化学习系统,利用神经网络记忆和联想,学会控制倒立摆,提高控制精度,使误差趋于零,直至学习成功,并证明闭环系统... 详细信息

为了提高强化学习的控制性能,提出一种基于分数梯度下降RBF神经网络的强化学习算法.通过评价神经网络和执行神经网络组成强化学习系统,利用神经网络记忆和联想,学会控制倒立摆,提高控制精度,使误差趋于零,直至学习成功,并证明闭环系统的稳定性.通过倒立摆的物理实验发现,当分数阶阶数较大,微分的作用更显著,对角速度和速度的控制效果更好,角速度和速度的均方误差和平均绝对误差较小;当分数阶阶数较小,积分的作用更显著,对倾斜角和位移的控制效果更好,因此倾斜角和位移的均方误差和平均绝对误差较小.仿真实验的结果表明,所提算法动态响应好,超调量小,调整时间短,精度高,泛化性能好.它优于基于RBF神经网络的强化学习算法和传统强化学习算法,能有效地加快梯度下降法的收敛速度,提高其控制性能.在引入适当的干扰后,所提算法能够快速地自我调节并恢复稳定状态,控制器的鲁棒性和动态性能满足实际要求.

关键词：强化学习径向基神经网络倒立摆分数阶梯度下降神经网络控制

在线全文

学校读者我要写书评

暂无评论

梯度下降优化神经网络的主轴可靠性预测模型

沈阳航空航天大学学报 2022年第4期39卷 37-43页

作者：王晓燕王品郎贺白贤明沈阳航空航天大学经济与管理学院沈阳110136 沈阳航空航天大学辽宁省飞机火爆防控及可靠性适航技术重点实验室沈阳110136 沈阳航空航天大学安全工程学院沈阳110136

为了提升机床主轴可靠性预测精度,提出了基于优化级联前向神经网络进行数控机床主轴可靠性预测的改进算法。将小批量梯度下降算法与级联前向神经网络预测方法相结合进行神经网络优化,增加了预测的准确度。对收集的主轴可靠性相关数据进... 详细信息

为了提升机床主轴可靠性预测精度,提出了基于优化级联前向神经网络进行数控机床主轴可靠性预测的改进算法。将小批量梯度下降算法与级联前向神经网络预测方法相结合进行神经网络优化,增加了预测的准确度。对收集的主轴可靠性相关数据进行初步分析,选取前n个可靠度数据以及第n+1个可靠度数据对应的故障时间点t作为神经网络的输入变量,第n+1个可靠度数据作为输出变量,完成可靠性预测模型的训练以及测试数据的误差对比分析。实例仿真分析结果表明:应用该方法得到的可靠度预测值最大相对误差的绝对值为2.41%,小于3%,该预测方法精度较高。与BP神经网络等其他预测方法得到的预测结果最大相对误差大于3%,甚至超过10%相比,可以实现数控机床主轴更加精确的预测,为研究数控机床可靠性提供理论依据。

关键词：梯度下降优化神经网络数控机床主轴可靠性预测 BP神经网络

在线全文

学校读者我要写书评

暂无评论

一种基于分布式编码的同步梯度下降算法

计算机工程 2021年第4期47卷 68-76,83页

作者：李博文谢在鹏毛莺池徐媛媛朱晓瑞张基河海大学计算机与信息学院南京211100

基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量... 详细信息

基于数据并行化的异步随机梯度下降(ASGD)算法由于需要在分布式计算节点之间频繁交换梯度数据,从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降(SSGD)算法,利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间,并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明,当配置合适的超参数时,与SSGD和ASGD算法相比,该算法在深度神经网络和卷积神经网络分布式训练中平均减少了53.97%、26.89%和39.11%、26.37%的训练时间,从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。

关键词：神经网络深度学习分布式编码梯度下降通信负载

在线全文

学校读者我要写书评

暂无评论

基于梯度下降法的双能CT双物质分解算法

东北大学学报（自然科学版） 2017年第7期38卷 936-940页

作者：滕月阳郑孙易卢子鹏康雁东北大学中荷生物医学与信息工程学院辽宁沈阳110169

基物质分解是双能CT重建的重要步骤,其中双物质分解是常用的分解模型之一,该模型的核心关键是计算分解系数投影.为了更快计算它,提出了基于误差反馈梯度下降的双能CT双物质分解算法和基于Armijo-Goldstein梯度下降的双能CT双物质分解算... 详细信息

基物质分解是双能CT重建的重要步骤,其中双物质分解是常用的分解模型之一,该模型的核心关键是计算分解系数投影.为了更快计算它,提出了基于误差反馈梯度下降的双能CT双物质分解算法和基于Armijo-Goldstein梯度下降的双能CT双物质分解算法.由于计算了梯度下降步长,这两种方法能快速迭代求解基物质分解系数投影.同时他们有效地解决了双能CT重建的非线性问题.仿真实验结果显示,与传统查表匹配法相比,这两种算法稳定收敛,计算速度快,重建精度高,对临床应用有重要的意义.在重建结果精度近似的情况下,基于Armijo-Goldstein梯度下降的算法采用不精确线性搜索步长,因此它的运行速度更快.

关键词：双能CT 双物质分解梯度下降图像重建计算步长

在线全文

学校读者我要写书评

暂无评论

随机梯度下降中的隐私保护方法研究

随机梯度下降中的隐私保护方法研究

作者：段锦欢广西师范大学

学位级别：硕士

机器学习能让机器从大量历史数据中学习规律并对新的样本作出判断识别或预测。作为人工智能的核心技术,机器学习已广泛应用计算机视觉、自然语言处理、推荐系统等领域。随着边缘计算、物联网、云计算和机器学习等技术的融合,促进了医疗... 详细信息

机器学习能让机器从大量历史数据中学习规律并对新的样本作出判断识别或预测。作为人工智能的核心技术,机器学习已广泛应用计算机视觉、自然语言处理、推荐系统等领域。随着边缘计算、物联网、云计算和机器学习等技术的融合,促进了医疗保健和银行业等领域技术的蓬勃发展。然而,这类领域相关数据中可能包含潜在的敏感数据,如果不进行相应的处理,敏感数据可能会被窃取或泄露,从而对数据持有者的隐私和安全带来危害。因此,机器学习的安全性对于其发展是至关重要的。梯度下降GD（Gradient descent）在各种优化问题上有着重要的地位,其算法结构简单,易于实现,迭代稳定性强,复杂度适中等众多优点。但梯度下降法的安全性是不能保证的,数据重构攻击可以利用梯度信息来推断训练数据。联邦学习是一种新型的分布式机器学习框架,通过数据所有者的设备训练机器模型,不直接共享数据来保护隐私。然而现有的联邦学习研究工作表明,仅通过不共享训练数据是不足以保护数据隐私的。因为在此类参数服务器模型,通常需要共享梯度或模型参数来协同学习,攻击者利用这些信息能够推测出用户隐私。因此,本文分析了传统梯度下降方法在神经网络中的信息泄露问题及已有保护方法的不足,提出一种超随机梯度下降方法,并应用在联邦学习场景。主要研究成果如下:（1）针对机器学习系统中,梯度信息导致隐私泄露的问题,本文提出了超随机梯度下降方法SSGD（Super Stochastic Gradient Descent）。通过隐藏梯度向量的模长,并将其转换为单位向量来更新参数。修剪梯度的模长带来了梯度聚合后的梯度方向具有超随机性。为了使超随机性不带来较差的结果,将一组小批次数梯度之和视为一个基梯度,使用多个基梯度的单位梯度之和更新参数。在保持模型精度的同时防止梯度泄漏。此外,本文给出了超随机梯度下降法在理论上的安全性分析,并证明了所提出的算法可以抵御梯度上的攻击。最后,为了验证本文提出的方法,在两个真实的数据集上设计对比实验。实验结果表明,该方法在保证隐私的情况下,在准确性、鲁棒性和对数据的大规模批量的适应性方面明显优于现有的梯度下降方法。同时SSGD方法在一定程度上可以抵抗中毒攻击。（2）针对迭代联邦聚类算法IFCA（Iterative Federated Clustering Algorithm）中直接共享梯度或模型参数带来的隐私问题,及模型初始化选择可能导致模型同质化和模型太差而不更新的问题,本文提出了局部增强联邦学习方法LRFL（Locally Reinforced Federated Learning）。工作节点使用超随机梯度下降法更新参数,保护梯度或模型参数共享导致的训练数据泄露,并通过在服务器第一轮更新中进行一次聚类操作,完成多个模型的自动选择,消除受模型初始化选择的影响。同时考虑簇间数据的分布,根据模型参数的差异调整模型参数聚合权重,增加了算法的鲁棒性。该方法只需在第一次更新参数时进行一次聚类操作,从而减小了计算量。最后,在三个数据集上验证LRFL方法的效用性和安全性。

关键词：机器学习梯度下降隐私保护联邦学习聚类

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

深度神经网络训练中梯度下降优化算法研究

深度神经网络训练中梯度下降优化算法研究

作者：姚敏达天津科技大学

学位级别：硕士

深度神经网络是整个深度学习领域的核心,而基于梯度下降法的反向传播算法又是整个神经网络体系的基石。目前深度神经网络的参数学习主要是通过梯度下降法来寻找一组最优参数,虽然深度神经网络具有非常强的能力,但对其优化却十分困难。首... 详细信息

深度神经网络是整个深度学习领域的核心,而基于梯度下降法的反向传播算法又是整个神经网络体系的基石。目前深度神经网络的参数学习主要是通过梯度下降法来寻找一组最优参数,虽然深度神经网络具有非常强的能力,但对其优化却十分困难。首先,神经网络的损失函数是一个非凸函数,找到全局最优解比较困难。其次,深度神经网络的参数通常非常多,训练数据也非常大,这就使得计算代价很高的二阶优化算法无法使用,而一阶优化算法的训练效率通常比较低。因此,需要在深度神经网络的训练中选择合适的优化算法和训练算法。本文针对深度神经网络训练过程中所使用梯度下降法的优化问题和训练算法进行了相关研究,提出了基于多阶段训练的梯度下降优化算法,并在此基础上融入组合的思想,提出了基于多阶段训练和优化算法组合的梯度下降优化算法,最后提出了基于批量大小降低和循环策略的深度神经网络训练算法。本文主要完成了以下工作:首先,分析出梯度下降法在深度神经网络训练中起重要作用的三个影响因素:学习率、梯度以及批量大小;从学习率和梯度两个角度出发,分析出自适应优化算法是利用梯度实现学习率自适应调整的算法;在此基础上,提出了基于优化算法组合的梯度下降优化算法。其次,从Warmup、CLR和SGDR三种算法中得到启发,将多阶段的思想与组合思想融合并应用于梯度优化,提出基于多阶段训练和优化算法组合的梯度下降优化算法;通过大量的实验表明本算法具有良好效果,能提升深度神经网络模型的训练效果。最后,分别从统计学、训练时间、梯度变化以及泛化能力四个角度分析批量大小对神经网络训练的影响;考虑现实硬件限制,从更新参数时的梯度的变化、模型鲁棒性以及训练噪声分析了降低批量大小带来的优化效果;分析了循环思想在深度学习领域中的广泛应用的内在机理;融合降低批量大小与循环思想,提出基于批量大小降低与循环策略的神经网络训练算法;在大量实验中验证了所提算法的有效性。

关键词：梯度下降学习率批量大小循环策略深度神经网络训练