基于受限玻尔兹曼机的专家乘积系统的一种改进算法

作     者：沈卉卉 李宏伟 SHEN Huihui;LI Hongwei

作者机构：中国地质大学数理学院武汉430074 湖北经济学院信息管理与统计学院武汉430205 中国地质大学地球内部多尺度成像湖北省重点实验室武汉430074 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2018年第40卷第9期

页      面：2173-2181页

核心收录：

学科分类：0808[工学-电气工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：湖北省教育厅科学技术研究计划重点项目(D20182203)~~ 

主　　题：深度学习 专家乘积 神经网络 受限玻尔兹曼机 动量 

摘      要：深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。