| 卷积神经网络中SPReLU激活函数的优化研究 |
| |
| 引用本文： | 吴婷婷,许晓东,吴云龙.卷积神经网络中SPReLU激活函数的优化研究[J].计算机与数字工程,2021,49(8):1637-1641. |
| |
| 作者姓名： | 吴婷婷 许晓东 吴云龙 |
| |
| 作者单位： | 江苏大学计算机科学与通信工程学院 镇江 212013 |
| |
| 摘 要： | 由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将"S"型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Soft-plus三种激活函数优点,提出了一种新型激活函数SPReLU.实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性.
|
| 关 键 词： | 卷积神经网络 激活函数 梯度消失 神经元死亡 ReLU |
Research on Optimization of SPReLU Activation Function in Convolutional Neural Network |
| |
| WU Tingting,XU Xiaodong,WU Yunlong.Research on Optimization of SPReLU Activation Function in Convolutional Neural Network[J].Computer and Digital Engineering,2021,49(8):1637-1641. |
| |
| Authors: | WU Tingting XU Xiaodong WU Yunlong |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
