基于噪声概率的AdaBoost算法研究
作者机构:云南师范大学数学学院
出 版 物:《重庆工商大学学报(自然科学版)》 (Journal of Chongqing Technology and Business University(Natural Science Edition))
年 卷 期:2024年
学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:云南省科技厅科技计划青年项目(202201AU070051) 云南师范大学博士科研启动项目(2020ZB014) 云南省现代分析数学及其应用重点实验室(202302AN360007)
主 题:AdaBoost算法 二分类 噪声数据 噪声概率 k近邻法
摘 要:【目的】传统的AdaBoost算法在数据存在噪声的情况下,会过度关注被错误分类的噪声样本,从而导致模型分类性能大幅度下降,因此,针对AdaBoost算法对噪声数据敏感的问题,提出一种基于噪声概率的鲁棒性AdaBoost算法。【方法】基于k近邻法和聚类思想提出一种噪声概率计算方法,将所得噪声概率融入到AdaBoost算法的指数损失函数当中,推导出改进算法的流程。【结果】在二分类问题上,以深度为1至4的决策树作为基础分类器,在6个UCI数据集上不同噪声比例下的实验结果表明:提算法的平均准确率均高于AdaBoost算法,且所提出算法在深度为1的决策树作为基础分类器时,在0%、5%、10%、20%、30%噪声情况下平均准确率分别为92.33%、92.07%、91.62%、90.65%、88.52%,相比AdaBoost算法分别提高0.47%、1.97%、2.93%、5.42%、8.87%。【结论】实验验证:所提方法构建出的一种鲁棒性算法模型,在处理含标签噪声的数据时相比同类型模型具有更好的优势,为解决AdaBoost算法对噪声数据敏感的问题提供了一种有效的方法。