Storm平台下基于稀疏ADtree的贝叶斯网络分布式学习算法

作     者：丁飞 庄毅 DING Fei;ZHUANG Yi

作者机构：南京航空航天大学计算机科学与技术学院南京211106 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2018年第39卷第10期

页      面：2209-2215页

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：国家自然科学基金面上项目(61572253)资助 十三五装备预研项目基金项目(61402420101HK02001)资助 航空基金项目(2016ZC52030)资助 

主　　题：机器学习 云计算 贝叶斯网络 Apache Storm 稀疏ADtree 

摘      要：使用云计算技术对搜索与评分算法进行分布化是加速贝叶斯网络结构学习过程的有效方法,但需要频繁地根据分布式文件系统中的数据集计算统计信息.为了克服分布式学习贝叶斯网络的性能瓶颈,本文使用Apache Storm平台建立了基于Topology框架的贝叶斯网络分布式学习机制,并提出了基于稀疏ADtree的统计信息提取算法和状态空间搜索算法.通过使用Topology框架细粒度地分布化了贝叶斯网络结构学习算法,达到了较高的并行度.本文使用稀疏ADtree存储全局统计信息,并在各计算节点中恢复出列联表来计算评分值.本文使用真实数据集在集群上进行了性能测试实验,结果表明评分过程的时间大幅缩短,弥补了构造稀疏ADtree的时间开销.总体上,贝叶斯网络结构分布式学习的过程得到了明显加速.