|
|||||
|
|
| 基于AdaGrad 自适应DA 方法的最优个体收敛速率 | |
| 引用本文： | 张 旭. 基于AdaGrad 自适应DA 方法的最优个体收敛速率[J]. 兵工自动化, 2023, 42(11): 49-55 |
| 作者姓名： | 张 旭 |
| 作者单位： | 中国人民解放军陆军炮兵防空兵学院信息工程系 |
| 基金项目： | 国家自然科学基金(62076252) |
| 摘 要： | 针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题，提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中，形成自适应的对偶平均方法，并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明：对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/t1/2)的最优个体收敛速率，为其提供了理论支撑。 |
| 关 键 词： | 优化算法 梯度下降 对偶平均方法 AdaGrad 自适应矩阵 |
| 收稿时间： | 2023-07-11 |
| 修稿时间： | 2023-08-05 |
Optimal Individual Convergence Rate Based on AdaGrad Adaptive DA Method |
|
| Abstract: | |
| Keywords: | optimization algorithm gradient descent dual average method AdaGrad adaptive matrix |
| 点击此处可从《兵工自动化》浏览原始摘要信息 | |
| 点击此处可从《兵工自动化》下载免费的PDF全文 | |