| 卷积神经网络中激活函数的一种改进 |
| |
| 引用本文： | 刘小文,郭大波,李聪.卷积神经网络中激活函数的一种改进[J].测试技术学报,2019,33(2):121-125. |
| |
| 作者姓名： | 刘小文 郭大波 李聪 |
| |
| 作者单位： | 山西大学物理电子工程学院,山西太原,030006;山西大学物理电子工程学院,山西太原,030006;山西大学物理电子工程学院,山西太原,030006 |
| |
| 基金项目： | 山西省基础研究资助项目 |
| |
| 摘 要： | 卷积神经网络中激活函数的作用是激活神经元的特征,然后保留并映射出来,这是人工神经网络能模拟人脑机制,解决非线性问题的关键.针对传统卷积神经网络出现的震荡、不收敛甚至过拟合的情况,对激活ReLU函数进行优化.提出一种新型矫正激活函数,称其为ReLU阈值函数.通过对数据集caltech101和caltech256进行训练,证明其在图片分类上的性能要优于ReLU函数.其中用Alexnet网络模型对caltech101数据集进行训练时的分类准确率由之前的97.7%提高到99.3%,对caltech256数据集进行训练时的分类准确率由之前的65.4%提高到92.3%.
|
| 关 键 词： | 卷积神经网络 激活函数 ReLU PReLU |
An Improvement of the Activation Function in Convolutional Neural Networks |
| |
| LIU Xiaowen,GUO Dabo,LI Cong.An Improvement of the Activation Function in Convolutional Neural Networks[J].Journal of Test and Measurement Techol,2019,33(2):121-125. |
| |
| Authors: | LIU Xiaowen GUO Dabo LI Cong |
| |
| Affiliation: | (College of Physics and Electronic Engineering, Shanxi University, Taiyuan 030006, China) |
| |
| Abstract: | LIU Xiaowen;GUO Dabo;LI Cong(College of Physics and Electronic Engineering, Shanxi University, Taiyuan 030006, China) |
| |
| Keywords: | convolutional neural network activation function ReLU PReLU |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
