| 基于ArcReLU激活函数的优化研究 |
| |
| 引用本文： | 徐菲菲,许赟杰.基于ArcReLU激活函数的优化研究[J].上海电力学院学报,2021,37(5):507-511. |
| |
| 作者姓名： | 徐菲菲 许赟杰 |
| |
| 作者单位： | 上海电力大学 计算机科学与技术学院 |
| |
| 基金项目： | 上海市自然科学基金（19ZR1420800）。 |
| |
| 摘 要： | 对常用的激活函数进行了研究比较。对曾经提出的一种新型激活函数ArcReLU进行了改进，使其具有更快的收敛速度和更低的计算消耗。实验证明，改进的ArcReLU函数既能显著加快反向传播神经网络的训练速度，又能有效降低训练误差，甚至能避免梯度消失的问题。
|
| 关 键 词： | 神经网络 激活函数 反正切函数 ArcReLU |
| 收稿时间： | 2020/3/18 0:00:00 |
Optimization of Activation Function Based on ArcReLU Function |
| |
| XU Feifei,XU Yunjie.Optimization of Activation Function Based on ArcReLU Function[J].Journal of Shanghai University of Electric Power,2021,37(5):507-511. |
| |
| Authors: | XU Feifei XU Yunjie |
| |
| Affiliation: | School of Computer Science and Technology, Shanghai University of Electric Power, Shanghai 200090, China |
| |
| Abstract: | The common activation functions are studied and compared.A new activation function,ArcReLU,is improved,which has faster convergence speed and lower calculation cost.Experiments show that the function can not only significantly accelerate the training speed of BP neural network,but also effectively reduce the training error and avoid the problem of gradient disappearance. |
| |
| Keywords: | neural network activation function inverse tangent function ArcReLU |
|
| 点击此处可从《上海电力学院学报》浏览原始摘要信息 |
|
点击此处可从《上海电力学院学报》下载全文 |
|
