基于双曲正切函数的修正线性单元

作     者：刘坤华 钟佩思 徐东方 夏强 刘梅 LIU Kunhua;ZHONG Peisi;XU Dongfang;XIA Qiang;LIU Mei

作者机构：山东科技大学先进制造技术研究中心 

出 版 物：《计算机集成制造系统》 (Computer Integrated Manufacturing Systems)

年 卷 期：2020年第26卷第1期

页      面：145-151页

核心收录：

学科分类：0808[工学-电气工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 0817[工学-化学工程与技术] 08[工学] 0807[工学-动力工程及工程热物理] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(51375282) 山东省重点研发计划资助项目(2018GGX106001) 山东省高等学校科学技术计划资助项目(J18KA009,J16LB58) 山东科技大学研究生科技创新资助项目(SDKDYC180334,SDKDYC180329)~~ 

主　　题：激活函数 双曲正切函数 修正线性单元 泄露修正线性单元 指数线性单元 深度学习 

摘      要：为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。