激活函数的对比测试与分析

作     者：王攀杰 郭绍忠 侯明 郝江伟 许瑾晨 WANG Panjie;GUO Shaozhong;HOU Ming;HAO Jiangwei;XU Jinchen

作者机构：信息工程大学河南郑州450001 数学工程与先进计算国家重点实验室河南郑州450001 

出 版 物：《信息工程大学学报》 (Journal of Information Engineering University)

年 卷 期：2021年第22卷第5期

页      面：551-557页

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61802434) 

主　　题：激活函数 PyTorch TensorFlow 

摘      要：随着人工智能的发展、含有激活函数库开源框架的增加,针对激活函数库的对比与分析越来越重要。在Intel x86架构上进行实验,从函数性能、稳定性、精度3个方面测试并分析了PyTorch和TensorFlow两种主流人工智能框架中的常用激活函数。实验结果表明,PyTorch的整体稳定性要高于TensorFlow,且Sigmoid、Hardsigmoid、SeLU、ReLU、ReLU6、Tanh函数的性能皆优于TensorFlow;在精度方面,TensorFlow中除SeLU函数与LeakyReLU函数稍差些,其余函数与PyTorch表现相当。