一种提高受限玻尔兹曼机性能的反正切函数逼近L_0范数方法

作     者：罗剑江 王振友 LUO Jian-jiang;WANG Zhen-you

作者机构：广东工业大学应用数学学院广州510520 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2016年第37卷第11期

页      面：2562-2566页

核心收录：

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金项目(11401115)资助 广东省科技创新项目(13KJ0396)资助 广东省科技计划项目(2013B051000075)资助 

主　　题：数据表示 深度信念网络 受限玻尔兹曼机 稀疏 arctan函数 

摘      要：受限玻尔兹曼机(RBMs)常常作为深度置信网络(DBN)的基本构成模块,通过训练几个RBM,DBN能够快速地被训练好以获得好的工作效果.为了获得更好的数据表示,受稀疏编码理论的启发,本文提出一种新的稀疏RBM,称为AtanRBM.与稀疏RBM(sparse RBM)不同的是,AtanRBM是添加一个arctan正则项(arctan函数逼近L_0范数)直接地约束隐含单元的概率密度空间来达到隐含单元稀疏的效果,而不是约束隐含单元的平均激活概率期望达到相同的较低稀疏水平.在MNIST数据集的实验表明,AtanRBM比当前相关的模型可以学到更稀疏和更具辨别力的表示形式或表示方法,进而由AtanRBM预训练的深层网络能够获得更好的分类效果.