排序方式: 共有55条查询结果,搜索用时 0 毫秒
11.
12.
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解 ${l_1}$ 范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。 相似文献
13.
14.
15.
提出一种基于优化线性函数的神经网络联想记忆器,打破了将待识别模式作为网络起始点的常规,它能保证渐近稳定的平衡点集与样本点集相同,吸引域分布合理,不渐近稳定的平衡点恰为实际的拒识模式,并且电路实现容易,对拒识模式有清楚的解释。理论分析和计算机模拟都表明本文的模型是理想的联想记忆器,还可降低对硬件的精度要求。 相似文献
16.
17.
18.
投影次梯度算法(projected subgradient method, PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method, DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能. 相似文献
19.
基于次梯度的L1正则化Hinge损失问题求解研究 总被引:1,自引:0,他引:1
Hinge损失函数是支持向量机(support vector machines, SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响. 相似文献
20.
支持向量数据描述(SVDD)是一种无监督学习算法,在图像识别和信息安全等领域有重要应用。坐标下降方法是求解大规模分类问题的有效方法,具有简洁的操作流程和快速的收敛速率。文中针对大规模SVDD提出一种高效的对偶坐标下降算法,算法每步迭代的子问题都可获得解析解,并可使用加速策略和简便运算减少计算量。同时给出3种子问题的选择方法,并分析对比各自优劣。实验对仿真和真实大规模数据库进行算法验证。与LibSVDD相比,文中方法更具优势,1。4s求解105样本规模的ijcnn文本库。 相似文献