带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集，融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势，提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先，在SVRG外循环中全梯度计算的基础上加入L₁范数次梯度设计出一种稀疏近似梯度用于内循环，得到一种稀疏的SVRG算法(SSVRG)。在此基础上，在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长，解决了小批量算法的步长选取问题，拓展得到MSSVRG-R2BB算法。数值实验表明，在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时，MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界，同时能达到与其他先进的小批量算法相同的优化水平，并且对于不同的初始参数选取表现稳定且良好。