基于集成学习的贝叶斯因果森林研究

作     者：樊航旗 

作者单位：吉林大学 

学位级别：硕士

导师姓名：王利民

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：贝叶斯网路 条件熵 因果关系 贝叶斯因果森林 

摘      要：贝叶斯网络(Bayesian Network,简写为BN)是不确定知识表示和推理领域中最强大的概率模型之一。众所周知,从贝叶斯网络产生始起,有向无环图(DAG)一直是贝叶斯网络的结构规范。也正是因为贝叶斯网络这种独特的结构,使得贝叶斯网络被广泛的用于处理分类问题,研究人员们称之为贝叶斯网络分类器(Bayesian Network Classifier,简写为BNC)。从目前的研究情况来看,在大多数贝叶斯网络分类器的拓扑结构中,有向边仅表示了特征变量之间的条件独立性,而不能代表特征变量之间存在一定程度的因果关系。因此,即使通过训练得到的贝叶斯网络分类器在分类过程中计算的联合概率分布可以很好地拟合数据,但这仍不能使其有足够的理论依据应用于因果推理领域。为了解决这个问题,本文发现条件熵因其得天独厚的不对称性,可以很好的用来识别贝叶斯网络特征变量之间的因果关系,而这里的因果关系是之前仅靠分析特征变量之间有限的条件独立性所不能确定。为了使其更适应贝叶斯网络分类器的训练过程,本文在此基础上,进一步创新性的提出了采用启发式搜索策略构建贝叶斯因果树(Bayesian causal tree,简写为BCT)的想法,以此来充分的表示特征空间中有效的因果关系。在这样的构建方法下,本文得到的贝叶斯因果树的网络拓扑结构不仅具有高度可扩展性,还为模型在训练的过程中所识别到的因果关系赋予了数据科学的可解释性,同时又能使其对应的联合概率可以很好的拟合训练数据。除此之外,为了能够使构建的BCT识别出特征变量间的因果关系尽可能充分的涵盖特征空间中真实有效的因果关系,本文在BCT的基础上,又创新性提出采用集成学习策略构建贝叶斯因果森林(Bayesian causal forest,简写为BCF)的想法。可以说BCF是由一系列BCT组成。为了增加BCF的多样性,BCF将其所包含的每个BCT分别以不同的特征变量作为根节点,即以不同的特征变量作为起始原因节点构建贝叶斯网络。为了弥补传统贝叶斯网络不能有效识别因果关系的缺陷,BCF在构建贝叶斯网络的过程中,首次提出使用条件熵作为测度来识别贝叶斯网络中有效的因果关系。为了验证本文所提出算法(BCF)的有效性,本文从机器学习数据库(UCI)中随机选择了32个数据集进行实验。实验结果表明,不管是与单结构贝叶斯网络分类器相比(例如,CFWNB),还是和集成贝叶斯网络分类器相比(例如,WATAN,IWAODE,WAODE-MI和TAODE),BCF在分类性能上的表现要更加出色一些。甚至和一些非贝叶斯分类器相比(例如,SVM,k-NN和LR),BCF的实验结果也往往显著优于它们。