基于AdaBoost集成加权宽度学习系统的不平衡数据分类

作     者：王萌铎 续欣莹 阎高伟 史丽娟 郭磊 WANG Mengduo;XU Xinying;YAN Gaowei;SHI Lijuan;GUO Lei

作者机构：太原理工大学电气与动力工程学院太原030024 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2022年第48卷第4期

页      面：99-105,112页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金面上项目(61973226) 山西省自然科学基金(201801D121144) 

主　　题：宽度学习系统 AdaBoost模型 不平衡数据 加权宽度学习系统 集成学习 

摘      要：宽度学习系统(BLS)是一种浅层的神经网络结构,具有快速训练、增量学习等特征,在处理类别不平衡数据时提取到的少数类别特征较少,导致识别结果不理想。提出一种基于AdaBoost集成加权宽度学习系统(AdaBoost-WBLS)的不平衡数据分类方法,通过迭代实现权重的动态更新,获得更符合数据特征的权重,提升集成模型对少数类的识别能力。基于KKT条件,对加权宽度学习系统的加权优化过程进行推导,验证了对角权重对BLS模型误差的抑制作用。在AdaBoost-WBLS模型集成初始化时,采用基于类别信息的初始化权值策略,使模型具有更高的集成训练效率。在集成权重更新时,不同数据类别采用不同的正则化更新方式,保留数据的类内特征并增加类间区分度。在实验过程中,对AdaBoost-WBLS模型的不同参数进行寻优,得到相关参数在有限范围内的最优取值。实验结果表明,AdaBoost-WBLS模型相比AdaBoost和BLS类相关模型能有效改善少数类别特征的提取能力,并且在Satimage数据集上相比加权过采样的深度自编码器模型的G-mean高出4.36个百分点,明显提升了不平衡数据的识别能力。