基于混合采样和特征选择的改进随机森林算法研究

作     者：汪力纯 刘水生 WANG Lichun;LIU Shuisheng

作者机构：南京工程学院信息与通信工程学院江苏南京211167 江苏省烟草专卖局信息中心江苏南京210018 

出 版 物：《南京邮电大学学报（自然科学版）》 (Journal of Nanjing University of Posts and Telecommunications：Natural Science Edition)

年 卷 期：2022年第42卷第1期

页      面：81-89页

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61702258)资助项目 

主　　题：随机森林 混合采样 特征选择 高维不平衡数据 HF_RF算法 

摘      要：随机森林算法是根据Bagging抽样和随机特征子集划分策略,由多棵决策树组成的集成算法。与其他分类算法相比,随机森林算法有更高的分类精度、更低的泛化误差以及训练速度快等特点,因此在数据挖掘领域得到了多方面的应用。然而随机森林算法在分类预测特征维度高且不平衡的数据时,分类性能受到了极大限制。为了更好地处理高维不平衡数据,文中提出了一种基于混合采样和特征选择的改进随机森林算法(Hybrid Samping&Feature Selection Random Forest,HF_RF)。该算法首先从数据层面出发,通过SMOTE算法和随机欠采样相结合的方式对高维不平衡数据集进行预处理,同时引入聚类算法对SMOTE算法进行改进,提高对负类样本的处理性能;然后从算法层面出发,通过ReliefF算法对平衡后的高维数据赋予不同的权值,剔除不相关和冗余特征,对高维数据进行维度约简;最后采用加权投票原则进一步提高算法的分类性能。实验结果显示,改进后的算法与原算法相比,在处理高维不平衡数据方面的各评价指标更高,证明HF_RF算法对于高维不平衡数据的分类性能高于传统随机森林算法。