贝叶斯网络联邦迁移学习方法研究

作     者：周雷 

作者单位：吉林大学 

学位级别：硕士

导师姓名：朱允刚

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：贝叶斯网络 联邦迁移学习 非参数贝叶斯方法 Dirichlet过程 对偶上升法 

摘      要：随着信息时代的到来,数据的表现形式越来越多样化,推理一种现象发生的可行性不能仅依靠信息拥有者有限的知识水平,需要综合考量各方面的因素,例如判断一个人消费意愿需,不能仅根据他的购买记录,要同时考虑他的购买能力,而这两种数据多数情况下并不会隶属于同一机构。上述情景便涉及到多机构联合学习的问题,传统的方式是将数据集中起来进行机器学习模型的构建。然而,然而随着国家对隐私保护的逐渐重视,以及隐私保护法律的逐渐完善,机构之间数据的共享变得极为困难。因此,人们不得不寻求一些基于隐私保护的其他方法,联邦学习正是在这种场景下应运而生的,严格来说,联邦学习是属于基于隐私保护的数据挖掘,目的是通过一些隐私保护的技术手段,保证在不泄露用户隐私的情况下,实现各机构的联合学习。贝叶斯网络作为人工智能领域中处理不确定性问题的一种重要工具,目前对于贝叶斯网络的联邦学习方法的研究仍比较有限,主要集中于基于隐私保护的贝叶斯网络学习方法,贝叶斯网络的联邦学习方法虽然仍属于隐私保护层面,但两者存在具象化的差异,联邦学习更在于强调数据不出本地的性质。本文的主要研究为联邦迁移框架下的贝叶斯网络学习,包括贝叶斯网络的结构学习以及参数学习,以下列出了本文的主要工作:1.提出基于改进Voting算法的贝叶斯网络联邦迁移结构学习。传统的Voting算法在应用于贝叶斯网络联邦迁移学习过程中由于无法消除Voting算法在投票后形成的贝叶斯网络中环的存在,而限制每个参与方必需使用K2算法,导致需要节点拓扑排序这样的专家知识,本文提出的基于改进Voting算法的贝叶斯网络的联邦迁移结构学习,引入并改进网络去环算法NOTEARS,使得每个参与方可以自由选择结构学习算法,因此,也不再需要节点序这样的专家知识。实验结果表明,本文的方法相较于集中式学习方法拥有更高的学习准确度。2.提出基于Dirichlet过程-高斯混合模型的贝叶斯网络联邦参数学习方法。在联邦迁移学习的场景下,不仅不同的参与方拥有不同的数据特征空间,而且拥有不同的样本空间,甚至样本数据拥有着不同的分布,面对这样的情况,对贝叶斯网络参数进行简单的加权平均便不再适用。为了解决上述问题,本文提出在贝叶斯网络已知的情况下,利用非参贝叶斯的方法对来自不同参与方的参数进行归类,使模型参数在整体上与每一个参与方更加契合。实验效果表明,通过本文方法进行参数学习要优于只具有单参数的传统方法。