基于多层前向小世界网络的层间结构优化及其网络修剪算法的研究

作     者：刘阳 

作者单位：吉林大学 

学位级别：硕士

导师姓名：郭东伟

授予年度：2018年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：小世界网络 多层前向网络 过拟合 修剪算法 

摘      要：复杂性和复杂系统是21世纪的中间研究课题之一。复杂网络概括了复杂系统的特征。很久以来,许多学者认为典型的网络是由许多个节点和连接这些节点的边组成,网络是点和边的集合,用随机图来表示。后来,这种想法发生了根本性的变化,主要归功于计算机对数据的处理、运算能力的迅猛发展。于是人们开始研究复杂网络的统计特性和的拓扑结构特性,经研究发现,尽管许多网络具有非常明显的随机性和复杂性,但是也会出现可以用数学或统计语言来描述的模式和规律,其中最重要的就是小世界效应。近些年来,人们已经认识到人工神经网络模型与大脑神经网络存在着差距,生物神经网络既不是规则网络也不是随机网络,它是介于规则网络与随机网络之间的一种复杂的网络结构。小世界网络它既具有规则网络的较大的聚类系数,又具有随机网络的较小的平均路径长度,因此小世界网络的优越性引起了人们的关注。由于在BP算法误差反向传播的过程中,权值修正阶段很容易陷入到局部极小点,而且传统的BP算法收敛速度较慢。因此本文优化了BP算法,提高了网络的收敛速度并且减少了网络陷入局部极小的可能性。由于全连接的网络中隐节点过多,节点间连接过于紧密,因此会存在过度拟合的问题。换句话说,对于不在训练样本中的数据,网络的学习能力不强,导致网络的实用价值下降,因此我们亟待找到一个合适的网络结构。长期以来,人们往往凭经验来确定网络的结构,为了保障精度常常偏向于冗余。因此不但网络训练的过程所需时间变长、增加了学习算法在学习速度上的负担,而且所得到所谓网络的高精度很有可能是冗余节点所导致的,会出现过拟合的现象,具体表现为对于训练样本之外的数据其网络训练的精度急剧下降、网路的泛化能力比较弱。本文提出一个基于E指数信息熵多层前馈小世界网络的修剪算法。基于信息熵的原理,计算每个隐节点的熵值,将那些熵值没有明显变化或者熵值变化小于阈值的隐节点进行修剪,通过不断地训练网络直至网络趋于稳定。实验结果表明,使用修剪算法的网络相比于未修剪的网络在准确率方面有明显的提高,在误差方面也做到了相应的控制,并且在一定程度上改善了过拟合的问题。