检索结果-南通市图书馆

gradient amplification: An Efficient Way to Train Deep Neural Networks

Big Data Mining and Analytics 2020年第3期3卷 196-207页

作者： Sunitha Basodi Chunyan Ji Haiping Zhang Yi Pan Department of Computer Science Georgia State UniversityAtlantaGA 30302USA Center for High Performance Computing Joint Engineering Research Center for Health Big Data Intelligent Analysis TechnologyShenzhen Institutes of Advanced TechnologyChinese Academy of SciencesShenzhen 518055China

Improving performance of deep learning models and reducing their training times are ongoing challenges in deep neural *** are several approaches proposed to address these challenges,one of which is to increase the depth of the neural *** deeper networks not only increase training times,but also suffer from vanishing gradients problem while *** this work,we propose gradient amplification approach for training deep learning models to prevent vanishing gradients and also develop a training strategy to enable or disable gradient amplification method across several epochs with different learning *** perform experiments on VGG-19 and Resnet models(Resnet-18 and Resnet-34),and study the impact of amplification parameters on these models in *** proposed approach improves performance of these deep learning models even at higher learning rates,thereby allowing these models to achieve higher performance with reduced training time.

关键词： deep learning gradient amplification learning rate backpropagation vanishing gradients

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：