检索结果-南通市图书馆

Drop-Activation:Implicit Parameter Reduction and Harmonious Regularization

Communications on Applied Mathematics and Computation 2021年第2期3卷 293-311页

作者： Senwei Liang yuehaw khoo Haizhao Yang Department of Mathematics Purdue UniversityWest LafayetteIN 47907USA Department of Statistics and the College The University of ChicagoChicagoIL 60637USA

Overfitting frequently occurs in deep *** this paper,we propose a novel regularization method called drop-activation to reduce overfitting and improve *** key idea is to drop nonlinear activation functions by setting them to be identity functions randomly during training *** testing,we use a deterministic network with a new activation function to encode the average effect of dropping activations *** theoretical analyses support the regularization effect of drop-activation as implicit parameter reduction and verify its capability to be used together with batch normalization(Iolfe and Szegedy in Batch normalization:accelerating deep network training by reducing internal covariate ***:1502.03167,2015).The experimental results on CIFAR10,CIFAR100,SVHN,EMNIST,and ImageNet show that drop-activation generally improves the performance of popular neural network architectures for the image classification ***,as a regularizer drop-activation can be used in harmony with standard training and regularization techniques such as batch normalization and AutoAugment(Cubuk et *** Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pp.113-123,2019).The code is available at https://***/LeungSamWai/Drop-Activ ation.

关键词： Deep learning Image classification Overfitting Regularization

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：