关于外监督学习前馈网络全局优化的理论

作     者：黄德双 Huang Deshuang

作者机构：北京系统工程研究所 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：1999年第27卷第4期

页      面：98-101页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080902[工学-电路与系统] 0809[工学-电子科学与技术（可授工学、理学学位）] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金 

主　　题：前馈神经网络 批方式训练 序贯方式训练 网络 

摘      要：本文研究了批方式和序贯方式训练的外监督前馈网络的全局最小条件．对于序贯训练方式，我们证明在其对应误差表面上总是存在Ｎ（训练样本个数）个局部最小点；对于批处理训练方式，我们证明网络获得零代价全局最小解的充要条件是，外监督信号矩阵构成的列空间必须位于模式样本在隐层张开的矩阵的列空间内；而网络获得零代价全局最小解的充分条件是，隐节点数Ｍ大于或等于非吻合的样本数Ｎ．并且证明，在满足上面充要（分）条件下，所定义的误差代价函数对应的误差表面上不存在除零代价以外的任何局部最小值．进一步推知，若Ｃ≤ＭＮ（Ｃ为输出节点数），则网络有可能获得零代价的全局最小解；若ＭＣ≤Ｎ，则无论如何训练网络，网络也将不会收敛到零代价的全局最小解．