基于灵敏度分析的模块化回声状态网络修剪算法

作     者：王磊 乔俊飞 杨翠丽 朱心新 WANG Lei;QIAO Jun-Fei;YANG Cui-Li;ZHU Xin-Xin

作者机构：北京工业大学信息学部北京100124 北京信息科技大学高动态导航技术北京市重点实验室北京100192 

出 版 物：《自动化学报》 (Acta Automatica Sinica)

年 卷 期：2019年第45卷第6期

页      面：1136-1145页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61533002,61603012) 北京市教委项目(KM201710005025) 北京市博士后工作经费资助项目(2017ZZ-028) 中国博士后科学基金资助~~ 

主　　题：修剪算法 模块化回声状态网络 奇异值分解 灵敏度分析 网络规模适应度 

摘      要：针对回声状态网络(Echo state network, ESN)的结构设计问题,提出基于灵敏度分析的模块化回声状态网络修剪算法(Pruning algorithm for modular echo state network, PMESN).该网络由相互独立的子储备池模块构成.首先利用矩阵的奇异值分解(Singular value decomposition, SVD)构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度.利用灵敏度大小判断子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模,具有较好的泛化能力和鲁棒性.