面向大型数据集的高效决策树参数剪枝算法
High-Efficient Parameter-Pruning Algorithm of Decision Tree for Large Dataset作者机构:曲阜师范大学网络空间安全学院山东曲阜273165
出 版 物:《计算机工程》 (Computer Engineering)
年 卷 期:2024年第50卷第1期
页 面:156-165页
学科分类:08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:山东省自然科学基金面上项目(ZR2020MF048)
摘 要:决策树在数据分类上具有较好的效果,但容易产生过拟合的现象,解决方案是对决策树进行剪枝处理,然而传统剪枝算法普遍存在预剪枝容易欠拟合、后剪枝时间消耗多、网络搜索剪枝仅适用于小型数据集等问题。为了解决以上问题,提出一种高效的决策树参数剪枝算法。根据网络安全态势感知模型,建立剪枝决策树态势感知系统架构,分析网络数据流。在生成决策树的过程中,利用枚举与二分搜索算法找出决策树最大深度,采用深度优先搜索算法找到节点最小分裂数和最大特征数,最终结合这3个最优参数自上而下完成剪枝。实验结果表明,所提算法在大型数据集上的过拟合风险较小,训练集与测试集准确率都在95%以上,同时相比于后剪枝算法中表现较好的悲观错误剪枝算法快了近20倍。