首页 | 本学科首页   官方微博 | 高级检索  
文章检索
  按 检索   检索词:      
出版年份:   被引次数:   他引次数: 提示:输入*表示无穷大
  收费全文   1篇
  完全免费   1篇
  自动化技术   2篇
  2022年   1篇
  2003年   1篇
排序方式: 共有2条查询结果,搜索用时 91 毫秒
1
1.
梯度下降算法作为卷积神经网络训练常用优化算法, 其性能的优劣直接影响网络训练收敛性. 本文主要分 析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题, 提出了一种带微分项的自适应梯 度优化算法, 旨在改善网络优化过程收敛性的同时提高收敛速率. 首先, 针对优化过程存在较大超调量的问题, 通过 对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题; 然 后, 引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题; 紧接着, 基于柯西–施瓦茨和 杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T). 最后, 通过在包括MNIST数据集以及CIFAR–10基准 数据集上的仿真实验来验证新算法的有效性, 结果表明新算法引入的微分项和自适应机制的联合模式能够有效地 改善梯度下降算算法的收敛性能, 从而实现算法性能的明显改善.  相似文献
2.
1
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号