首页
|
本学科首页
官方微博
|
高级检索
全部学科
医药、卫生
生物科学
工业技术
交通运输
航空、航天
环境科学、安全科学
自然科学总论
数理科学和化学
天文学、地球科学
农业科学
哲学、宗教
社会科学总论
政治、法律
军事
经济
历史、地理
语言、文字
文学
艺术
文化、科学、教育、体育
马列毛邓
全部专业
中文标题
英文标题
中文关键词
英文关键词
中文摘要
英文摘要
作者中文名
作者英文名
单位中文名
单位英文名
基金中文名
基金英文名
杂志中文名
杂志英文名
栏目中文名
栏目英文名
DOI
责任编辑
分类号
杂志ISSN号
基于AdaGrad 自适应DA 方法的最优个体收敛速率
引用本文:
张 旭. 基于AdaGrad 自适应DA 方法的最优个体收敛速率[J]. 兵工自动化, 2023, 42(11): 49-55
作者姓名:
张 旭
作者单位:
中国人民解放军陆军炮兵防空兵学院信息工程系
基金项目:
国家自然科学基金(62076252)
摘 要:
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/t
1/2
)的最优个体收敛速率,为其提供了理论支撑。
关 键 词:
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
收稿时间:
2023-07-11
修稿时间:
2023-08-05
Optimal Individual Convergence Rate Based on AdaGrad Adaptive DA Method
Abstract:
Keywords:
optimization algorithm
gradient descent
dual average method
AdaGrad
adaptive matrix
点击此处可从《兵工自动化》浏览原始摘要信息
点击此处可从《兵工自动化》下载
免费
的PDF全文
设为首页
|
免责声明
|
关于勤云
|
加入收藏
Copyright
©
北京勤云科技发展有限公司
京ICP备09084417号