基于Theta纯相关的受限制玻尔兹曼机改进方法
作者单位:天津大学
学位级别:硕士
导师姓名:侯越先
授予年度:2017年
学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
摘 要:随着深度学习的不断发展,深度网络模型在近年来的信号及信息处理等多个领域取得了引人瞩目的成绩。受限制玻尔兹曼机作为深度置信网络中的基本学习单元,在深度学习领域起着非常重要的作用。对于受限制玻尔兹曼机来说,最棘手的问题就是模型选择。在模型中选择一个不恰当的隐节点个数或者随着受限制玻尔兹曼机的堆叠造成的过大的自由参数空间都会轻易地导致模型过拟合问题的出现。为了改善过拟合问题,本文提出了纯相关受限制玻尔兹曼机。相比于标准的受限制玻尔兹曼机,纯相关受限制玻尔兹曼机对不同的数据能够自动地调整自身的网络结构。这样做的目的是为了使模型自身的复杂度更好地适应给定的数据,从而增强模型的泛化能力,控制过拟合风险。具体做法是:对数据进行预训练以此获取数据特征间的统计相关性,在模型结构的构建阶段,本文提出一种新型构建算法,该算法可以利用已经获得地相关性信息来构建纯相关受限制玻尔兹曼机。本文中,我们利用Theta纯相关模型来挖掘数据特征间的相关性。Theta纯相关模型是定义在信息几何理论基础上的用于检测变量之间统计相关性的模型。信息几何采用微分几何方法研究概率及统计模型。它把一族概率分布看作高维空间里的一个黎曼流形,通过微分几何方法分析流形的几何结构,以此获得概率分布。实验部分,我们利用MNIST手写数字集来验证纯相关受限制玻尔兹曼机的有效性。在实验阶段,我们设计了三组实验从不同的角度检验纯相关受限制玻尔兹曼机,实验结果显示,纯相关受限制玻尔兹曼机能够有效地改善过拟合问题,提高模型的分类准确率。