基于改进实数编码遗传算法的神经网络超参数优化
Hyperparameter optimization for neural network based on improved real coding genetic algorithm作者机构:郑州大学网络空间安全学院郑州450001 嵩山实验室郑州450000 互联网医疗与健康服务河南省协同创新中心(郑州大学)郑州450052 郑州市区块链与数据智能重点实验室(郑州大学)郑州450001 郑州大学计算机与人工智能学院郑州450001 军事科学院国防工程研究院工程防护研究所河南洛阳471023
出 版 物:《计算机应用》 (journal of Computer Applications)
年 卷 期:2024年第44卷第3期
页 面:671-676页
学科分类:08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:嵩山实验室预研项目(YYYY022022003) 河南省重点研发与推广专项(212102310039)
主 题:实数编码 遗传算法 超参数优化 进化神经网络 机器学习
摘 要:针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。