检索结果-南通市图书馆

基于正交优化策略的YOLO模型超参数优化方法

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

科学技术与工程 2025年第4期25卷 1573-1579页

作者：杨青华杨观赐钟世昊贵州大学现代制造技术教育部重点实验室贵阳550025

为实现YOLO(you only look once)模型的超参数自动优化,提出基于正交优化策略的YOLO模型超参数优化方法(hyper-parameter optimization of YOLO model based on orthogonal optimization strategy,OOS)。首先基于统计学的正交试验原理,提出了种群的正交搜索方法与超参数贡献度分析策略,提高了算法的优化效率;然后,设计了均匀正交搜索策略和邻域正交搜索策略,以缓解YOLO模型陷入局部最优和早熟收敛问题。最后,在NWPU VHR-10和Pascal VOC两个目标检测数据集上,以YOLOv5、YOLOv5s-Transformer和YOLOv7为优化对象进行测试,测试结果表明,所提出的OOS超参数优化方法对于YOLO模型的识别精度均有所提升。在两个数据集上的平均识别精度mAP@0.5分别提升至93.94%、93.18%、93.45%以及85.81%、84.59%、90.62%;mAP@0.5-0.95提升至60.00%、60.08%、56.98%以及62.27%、58.89%、71.91%,可为目标检测模型的超参数智能优化提供一种新方法。

关键词：目标检测超参数优化则化策略 YOLO

在线全文

学校读者我要写书评

暂无评论

神经网络超参数优化的删除垃圾神经元策略

物理学报 2022年第16期71卷 77-85页

作者：黄颖顾长贵杨会杰上海理工大学管理学院上海200093

随着深度学习处理问题的日益复杂,神经网络的层数、神经元个数、和神经元之间的连接逐渐增加,参数规模急剧膨胀,优化超参数来提高神经网络的预测性能成为一个重要的任务.文献中寻找最优参数的方法如灵敏度剪枝、网格搜索等,算法复杂而... 详细信息

随着深度学习处理问题的日益复杂,神经网络的层数、神经元个数、和神经元之间的连接逐渐增加,参数规模急剧膨胀,优化超参数来提高神经网络的预测性能成为一个重要的任务.文献中寻找最优参数的方法如灵敏度剪枝、网格搜索等,算法复杂而且计算量庞大.本文提出一种超参数优化的“删除垃圾神经元策略”.权重矩阵中权重均值小的神经元,在预测中的贡献可以忽略,称为垃圾神经元.该策略就是通过删除这些垃圾神经元得到精简的网络结构,来有效缩短计算时间,同时提高预测准确率和模型泛化能力.采用这一策略,长短期记忆网络模型对几种典型混沌动力系统的预测性能得到显著改善.

关键词： LSTM 混沌时间序列预测超参数优化删除垃圾神经元策略

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

超参数优化对跨版本缺陷预测影响的实证研究

计算机科学与探索 2023年第12期17卷 3052-3064页

作者：韩惠于巧祝义江苏师范大学计算机科学与技术学院江苏徐州221116

在机器学习领域,超参数是影响模型性能的关键因素之一。已有研究表明,超参数优化能够显著提升版本内缺陷预测和跨项目缺陷预测性能,而对跨版本缺陷预测性能的影响尚不明确。选取五种经典缺陷预测模型(决策树、K-近邻、随机森林、支持向... 详细信息

在机器学习领域,超参数是影响模型性能的关键因素之一。已有研究表明,超参数优化能够显著提升版本内缺陷预测和跨项目缺陷预测性能,而对跨版本缺陷预测性能的影响尚不明确。选取五种经典缺陷预测模型(决策树、K-近邻、随机森林、支持向量机和多层感知机)以及四种常用超参数优化算法(基于TPE的贝叶斯优化、基于SMAC的贝叶斯优化、随机搜索和模拟退火),在PROMISE数据集上进行实验,探究超参数优化对跨版本缺陷预测性能的影响。研究结果表明:决策树、K-近邻和多层感知机模型超参数优化后,跨版本缺陷预测AUC值得到显著提升;超参数优化后的模型仍保持与默认超参数设置下相当的稳定性;除了较为复杂的多层感知机模型,其余模型超参数优化的时间平均为1~2 min,在跨版本缺陷预测实验中优化模型超参数是可行的。上述结果表明,跨版本缺陷预测应考虑优化模型超参数以提升预测性能。

关键词：软件缺陷预测跨版本缺陷预测超参数优化

在线全文

学校读者我要写书评

暂无评论

基于强化学习的模型选择和超参数优化

电子科技大学学报 2020年第2期49卷 255-261页

作者：吴佳陈森朋陈修云周瑞电子科技大学信息与软件工程学院成都610054

随着机器学习技术的不断发展,机器学习算法种类的增多以及模型复杂度提高,造成了实践应用中的两大难题:算法模型选择及模型超参数优化。为了实现模型选择和超参数优化的自动处理,该文提出了一种基于深度强化学习的优化方法。利用长短期... 详细信息

随着机器学习技术的不断发展,机器学习算法种类的增多以及模型复杂度提高,造成了实践应用中的两大难题:算法模型选择及模型超参数优化。为了实现模型选择和超参数优化的自动处理,该文提出了一种基于深度强化学习的优化方法。利用长短期记忆(LSTM)网络构建一个智能体(Agent),自动选择机器学习算法模型及对应的超参数组合。该智能体以最大化机器学习模型在验证数据集上的准确率为目标,利用所选择的模型在验证数据集上的准确率作为奖赏值(reward),通过强化学习算法不断学习直到找到最优的模型以及超参数组合。为了验证该方法的可行性及性能,在UCI标准数据集上将其与传统优化方法中基于树状结构Parzen的估计方法和随机搜索方法进行比较。多次实验结果证明该优化方法在稳定性、时间效率、准确度方面均具有优势。

关键词：深度强化学习超参数优化 LSTM网络机器学习模型选择

基于4种超参数优化算法及随机森林模型预测TBM掘进速度

在线全文

学校读者我要写书评

暂无评论

应用基础与工程科学学报 2021年第5期29卷 1186-1200页

作者：仉文岗唐理斌陈福勇杨甲锋重庆大学山地城镇建设与新技术教育部重点实验室重庆400045 重庆大学土木工程学院重庆400045 重庆大学库区环境地质灾害防治国家地方联合工程研究中心重庆400045 麦克马斯特大学土木工程系汉密尔顿加拿大L8S4L7 重庆铁路投资集团重庆400025

为控制项目成本及规划施工流程,需对隧道掘进机(Tunnel boring machine, TBM)的掘进速度(Rate of penetration, ROP)提供可靠的预测模型.为解决这一问题,大量经验公式或者数值模型已被广泛应用于理论研究和实际工程.虽然其中一些方法具... 详细信息

为控制项目成本及规划施工流程,需对隧道掘进机(Tunnel boring machine, TBM)的掘进速度(Rate of penetration, ROP)提供可靠的预测模型.为解决这一问题,大量经验公式或者数值模型已被广泛应用于理论研究和实际工程.虽然其中一些方法具有一定的实用性,但其适用范围限制了相关研究的进一步发展.基于纽约Queens区输水隧道收集的数据,本文提出了一种基于随机森林(Random forest, RF)的预测模型,并结合4种常见的超参数优化算法,即粒子群优化算法(Particle swarm optimization, PSO)、遗传算法(Genetic algorithm, GA)、差分算法(Differential evolution, DE)、贝叶斯优化(Bayesian optimization, BO),在模型开发过程中对超参数进行调整.此外,本文还进行了敏感性分析,以调查每个输入变量的相对重要性.结果表明:BO-RF模型能以最短的耗时及最高的精度完成对ROP的预测;PSO-RF及GA-RF模型性能基本一致,前者耗时更少;DE-RF模型耗时最多,但没有显著改善模型的性能.敏感性分析结果表明,各输入参数对TBM掘进速度的影响不同,岩石的强度特性是影响最大的因素.

关键词： TBM掘进速度机器学习超参数优化随机森林粒子群优化遗传算法差分进化贝叶斯优化

多策略MRFO算法的卷积神经网络超参数优化

在线全文

学校读者我要写书评

暂无评论

北京邮电大学学报 2021年第6期44卷 83-88,95页

作者：刘永利朱亚孟晁浩河南理工大学计算机科学与技术学院焦作454000

卷积神经网络的性能与超参数配置密切相关,然而最优超参数的选择耗时耗力.为了提高超参数选择的效率,提出了一种基于多策略的蝠鲼觅食优化算法,一方面采用半数均匀初始化策略提升种群的多样性;另一方面,融合新权重因子更新策略和分裂策... 详细信息

卷积神经网络的性能与超参数配置密切相关,然而最优超参数的选择耗时耗力.为了提高超参数选择的效率,提出了一种基于多策略的蝠鲼觅食优化算法,一方面采用半数均匀初始化策略提升种群的多样性;另一方面,融合新权重因子更新策略和分裂策略,提升收敛速度和拟合精度.根据实数编码策略将所提算法用于卷积神经网络的超参数优化研究中,用3种觅食方式进行迭代,以得到最优的超参数配置.为了评估超参数优化的有效性,与卷积神经网络超参数优化算法在手写数字和CIFAR-10数据集上进行了对比实验,实验结果表明,所提算法可消耗较少的资源,并获得更高的准确率.

关键词：卷积神经网络蝠鲼觅食优化算法超参数优化

在线全文

学校读者我要写书评

暂无评论

自适应光学系统迭代控制算法超参数优化

应用光学 2024年第1期45卷 126-133页

作者：罗宇湘杨慧珍何源烽张之光江苏海洋大学电子工程学院江苏连云港222005 金陵科技学院网络与通信工程学院江苏南京211169

无波前探测自适应光学系统中,选择合适的超参数是迭代控制算法达到最佳性能的关键。现有的迭代控制算法的超参数设置一般采用遍历法,这种方法虽然容易理解和实现,但计算量大、耗时较长,同时也可能因为找到一个局部最优值而错过全局最优... 详细信息

无波前探测自适应光学系统中,选择合适的超参数是迭代控制算法达到最佳性能的关键。现有的迭代控制算法的超参数设置一般采用遍历法,这种方法虽然容易理解和实现,但计算量大、耗时较长,同时也可能因为找到一个局部最优值而错过全局最优值。本文采用贝叶斯优化方法,选择适合自适应光学系统迭代控制算法的超参数。分别以常用的随机并行梯度下降算法(stochastic parallel gradient descent algorithm,SPGD)、Momentum-SPGD和CoolMomentum-SPGD控制算法为例,对比分析采用遍历法和贝叶斯优化方法选择超参数的控制算法的校正效果。结果表明,采用贝叶斯优化方法进行超参数选择优势明显。对于SPGD控制算法,取得相同收敛效果时,贝叶斯优化方法所需样本实例数量是遍历法的10%;对于Momentum-SPGD和CoolMomentum-SPGD控制算法,贝叶斯优化方法所需样本实例数量分别是遍历法的7%和9%。研究结果可为自适应光学系统迭代控制算法的实际应用提供超参数设置理论基础。

关键词：超参数优化贝叶斯优化自适应光学迭代控制算法

维普期刊数据库博看期刊

基于超限学习机与随机响应面方法的深度学习超参数优化算法

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2019年第12期29卷 1165-1174页

作者：孙永泽陆忠华中国科学院计算机网络信息中心北京100190 中国科学院大学北京100049

恰当的超参数设置是决定深度模型性能的关键因素,实现优秀高效的超参数优化算法能够提高深度学习模型的效果,提升模型超参数搜索调优的效率和速度,降低深度学习模型的应用门槛。超参数优化算法的典型代表是贝叶斯优化算法(BOA),此类基... 详细信息

恰当的超参数设置是决定深度模型性能的关键因素,实现优秀高效的超参数优化算法能够提高深度学习模型的效果,提升模型超参数搜索调优的效率和速度,降低深度学习模型的应用门槛。超参数优化算法的典型代表是贝叶斯优化算法(BOA),此类基于代理模型的全局优化算法,相对随机搜索、网格搜索等简单算法理论上具备更好的优化效率。本文提出基于超限学习机(ELM)对超参数空间建立确定性代理模型,并改进随机响应面方法,实现了一种针对深度学习模型的超参数优化算法SurroOpt1。实验表明,本文提出的算法,在深度卷积网络模型超参数优化任务中,相对贝叶斯优化和TPE算法这2种最先进的已知算法,在函数求解次数相同的情况下,具备更好的模型优化效果。

关键词：超参数优化代理模型超限学习机(ELM) 随机响应面法深度学习模型

基于证据框架的模糊超球面支持向量机超参数优化

在线全文

学校读者我要写书评

暂无评论

应用科学学报 2007年第3期25卷 227-232页

作者：金添周智敏宋千常文革国防科学技术大学电子科学与工程学院湖南长沙410073

模糊超球面支持向量机(FHS-SVM)在处理一类分类问题时比超平面支持向量机泛化能力更强,特别是在雷达目标检测中得到了成功应用.FHS-SVM训练时需要预设一些超参数,不同的超参数得到的FHS-SVM性能差异很大.文中首先证明了FHS-SVM训练过程... 详细信息

模糊超球面支持向量机(FHS-SVM)在处理一类分类问题时比超平面支持向量机泛化能力更强,特别是在雷达目标检测中得到了成功应用.FHS-SVM训练时需要预设一些超参数,不同的超参数得到的FHS-SVM性能差异很大.文中首先证明了FHS-SVM训练过程与证据框架第一层贝叶斯推理的等价性,然后在证据框架下提出了FHS-SVM超参数优化迭代方法.基于超宽带合成孔径雷达探雷数据,通过与穷举方法结果的对比检验了迭代优化方法的有效性.

关键词：证据框架模糊超球面支持向量机超参数优化地雷检测