R-线性收敛的重要样本抽样随机梯度下降算法

针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势。另外,初始步长可以任意选取,且步长在算法运行中可以自适应地计算更新。此外,新算法使用了重要样本抽样方法,可以大大减少计算工作量。最后,在通常的假设条件下证明了新算法具有R-线性收敛速度,并给出了复杂度分析。数值实验验证了新算法是可行有效的。