风险最小化加权朴素贝叶斯分类器

作     者：欧桂良 何玉林 张曼静 黄哲学 Philippe Fournier-Viger 

作者机构：人工智能与数字经济广东省实验室(深圳) 深圳大学计算机与软件学院 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：广东省自然科学基金面上项目(2023A1515011667) 深圳市基础研究重点项目(JCYJ20220818100205012) 深圳市基础研究面上项目(JCYJ20210324093609026) 深圳市科技重大专项项目(202302D074) 

主　　题：朴素贝叶斯 独立性假设 加权朴素贝叶斯 结构风险 经验风险 贝叶斯网络 

摘      要：朴素贝叶斯分类器被誉为机器学习领域的十大经典算法之一，以其完备的理论基础和简单的模型结构而闻名，在许多的实际应用中取得了良好的分类效果。然而条件属性独立性假设在一定程度上限制了朴素贝叶斯分类器的性能，因此大量的改进工作被提出来缓解这一限制，加权朴素贝叶斯分类器便是其中之一。在对边缘概率权重作用深入分析的基础之上，本文提出了一种基于风险最小化的加权朴素贝叶斯分类器（Risk Minimization-Based Weighted Naive Bayesian Classifier，RM-WNBC），即在权重确定的过程中同时考虑分类器的经验风险和权重的结构风险。不同于现有的过分关注朴素贝叶斯分类器外在泛化性能的改进策略，RM-WNBC是从朴素贝叶斯分类器的内在概率分布出发改善其泛化性能。经验风险度量了加权朴素贝叶斯分类器的分类能力，采用后验概率的估计质量表示；结构风险刻画了加权朴素贝叶斯分类器对属性相关性的处理，采用类条件概率的均方差表示。经验风险最小保证了RM-WNBC可以获得良好的训练精度，同时结构风险最小化又使得RM-WNBC能够取得最佳的属性相关表达能力。为了获得RM-WNBC的最优权重，我们推导了高效且收敛的权重更新策略保证结构风险和经验风险的最小化。在31个UCI和KEEL标准分类数据集上，我们对RM-WNBC的可行性、合理性和有效性进行了验证。实验结果表明（1）RM-WNBC的训练和测试精度随着边缘概率权重的不断更新逐渐增加直至收敛；（2）RM-WNBC具有比现有加权朴素贝叶斯分类器更好的属性相关性表达能力；（3）在给定的显著性水平下，RM-WNBC在31个数据集上能够获得比经典朴素贝叶斯分类器、3种贝叶斯网络、4种加权朴素贝叶斯分类器和1种特征选择朴素贝叶斯分类器更好的训练和测试表现。