基于非监督预训练的结构优化卷积神经网络

作     者：刘庆 唐贤伦 张娜 

作者机构：重庆邮电大学工业物联网与网络化控制教育部重点实验室重庆400065 

出 版 物：《四川大学学报（工程科学版）》 (Journal of Sichuan University (Engineering Science Edition))

年 卷 期：2017年第49卷第S2期

页      面：210-215页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61673079) 重庆市基础科学与前沿技术研究项目资助(cstc2016jcyj A1919) 

主　　题：卷积神经网络 稀疏自动编码器 非监督预训练 后继再学习 手写字识别 

摘      要：针对带标签训练样本不足,典型卷积神经网络卷积核由经验设置,网络结构固定不变难以后期再学习的问题,基于稀疏自编码器(sparse autoencoder,SAE)和卷积神经网络(convolutional neural network,CNN),提出新的CNN模型。该模型将部分原始样本输入SAE模型进行训练以得到低维特征表示,并将该低维特征表示作为CNN的卷积核的初始值,不仅可以很好地克服带标签训练数据样本不足的问题,还可以提取有效特征以加速网络收敛;并且在典型CNN结构基础上增加一条网络支路,先使用所有训练样本训练典型CNN结构,再使用大部分训练样本训练支路结构,最后使用其余少部分样本进行后续再学习并只更新支路权值以增强因特征不明显而容易误判的样本的特征,从而使得整个网络记忆已有特征的同时增加新特征。文中模型在MNIST数据集上迭代更新10次网络权值可以使测试识别率达到97.65%;在手写汉字数据集HCL2000中的简单字、中等字、复杂字及相似字上的测试正确率能达93%以上;50个训练样本、250个测试样本时,相似字识别率可达80.36%,比典型CNN及传统手写汉字识别方法更具泛化性。实验表明所提方法可有效应用于手写字等图像识别应用中。