局部连接的ELM神经网络

作     者：黄焕焕 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：吴微

授予年度：2018年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：极限学习机 输入权值稀疏化 局部连接 高维数据集 

摘      要：互联网的快速发展,产生了大量的数据信息,怎么利用这些数据挖掘到最有用的价值,成为了社会的研究热点。传统的神经网络由于训练速度慢、耗费时间长、容易陷入局部最优而受到诟病。极限学习机(ELM)是一种改进的新型神经网络算法,具有学习速度快、比较简单、泛化性好等优点,吸引了很多学者的关注。本文关注ELM的输入层-隐层权重的稀疏性。对于普通的前馈神经网络,稀疏化通常是通过在网络的学习过程中引入某种正则化方法来完成的。但是这种策略不适用于ELM,因为ELM的输入层到隐藏层权重应该是随机选择的而不是学习得来的。为此,我们提出了一种改进的ELM,称为ELM-LC(具有局部连接的ELM),其输入-隐层权重按如下方式稀疏化:隐层节点和输入节点分别被分成几个对应的组,输入节点组与其对应的隐层节点组完全连接,但不与任何其他隐层节点组连接。与通常的ELM一样,输入权重是随机给定的,输出权重是根据最小二乘学习获得的。在一些基准问题的数值模拟中,ELM-LC比传统的ELM表现更好。本文大致分为四个部分,在第一部分里描述神经网络的相关内容和背景知识,第二部分介绍ELM算法理论和优势,第三部分引出并介绍ELM-LC算法,第四部分为数值实验,主要是在分类和回归两类数据集上进行的。