批量减数更新方差缩减梯度下降算法BSUG

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降（Stochastic Gradient Descent,SGD）之后,随机方差缩减梯度法（Stochastic Variance Reduction Gradient,SVRG）成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA（Stochastic Average Gradient Average）和SCSG（Stochastically Controlled Stochastic Gradient）等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG（Batch Subtraction Update Gradient）。改进在于：使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小[B],可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

面向大规模数据主题建模的方差减小的随机变分推理算法

随机变分推理（SVI）已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI （VR-SVI）算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VR-SVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

融合IMU去除运动模糊的改进光流匹配算法

为进一步提高视觉SLAM中的光流匹配精度和速度,提出一种融合惯性测量单元（inertial measurement unit,IMU）去除运动模糊的改进光流匹配算法。该算法首先利用IMU运动信息计算的点扩散函数去除运动模糊,提高特征点匹配率;其次在LK（Lucas-Kanade）光流的基础上引入梯度误差,并使用图像梯度L1范数作为正则项模拟稀疏噪声,构建代价函数;然后利用IMU预测特征点位置作为该算法初始值,并加入BB（Barzilar-Borwein）步长改进原有的高斯牛顿算法,提高计算速度。实验表明,通过两帧之间比较,该算法的效率和精度均优于LK光流法;然后将该算法集成到VINS-Mono框架,在数据集EuRoC上结果显示,该算法提高了原有框架的定位精度和鲁棒性。     

一种求解强凸优化问题的最优随机算法

随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.     

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。     

基于梯度追踪的MIMO-OFDM稀疏信道估计算法

现有的压缩感知MIMO-OFDM信道估计方法多采用正交匹配追踪算法及其改进的算法。针对该类算法重构大规模的数据存在计算复杂度高、存储量大等问题,提出了基于梯度追踪算法的MIMO-OFDM 稀疏信道估计方法。梯度追踪算法采用最速下降法对目标函数解最优解,即每步迭代时计算目标函数的搜索方向和搜索步长,并以此选择原子得到每次迭代重构值的最优解。本文使用梯度追踪算法对信道进行估计,并与传统的最小二乘估计算法、正交匹配追踪算法的性能和计算复杂度进行比较。仿真结果表明,梯度追踪算法能够保证较好的估计效果,减少了导频开销,降低了运算复杂度,提高了重构效率。     

互不相同随机整数序列的快速选取算法(FSR) 研究

研究互不相同的随机整数序列的选取算法是一个非常重要的课题.这里我们给出了一种采用二分技术的互不相同的随机整数快速选取策略(FSR),并证明了采用该算法在某一区间(M,N)内选取R个互不相同的随机整数所需的步长仅为O[log2R],其随机周期达到(N-M-1)!/(N-M-1-R)!,而经典算法所需的步长为R,其随机周期仅为(N-M-1).     

基于随机配置法和输入端缩减技术的统计静态时序分析

在考虑工艺偏差影响的统计静态时序分析中,针对求解多个随机分布最大值(MAX)的关键问题,提出一种快速MAX算法.该算法将统计输入下的MAX问题转换为求解一组离散配置点上的确定性MAX问题,并用带权最小二乘来计算MAX输出多项式的系数;基于稀疏网格技术有效地减少配置点数,提出输入端缩减技术,进一步提高了MAX的计算效率.ISCAS85基准电路的实验结果表明,该算法较已有的二阶矩匹配算法和基于降维的随机Galerkin算法明显地提高了精度,且效率相当;与10000次蒙特卡罗的结果相比,中值和方差的相对误差基本小于5%,且有100倍的速度提升.     

联合弹性碰撞与梯度追踪的WSNs压缩感知重构

为提高压缩感知(Compressed sensing,CS)大规模稀疏信号重构精度,提出了一种联合弹性碰撞优化与改进梯度追踪的WSNs(Wireless sensor networks)压缩感知重构算法.首先,创新地提出一种全新的智能优化算法|弹性碰撞优化算法(Elastic collision optimization algorithm,ECO),ECO模拟物理碰撞信息交互过程,利用自身历史最优解和种群最优解指导进化方向,并且个体以N(0,1)概率形式散落于种群最优解周围,在有效提升收敛速度的同时扩展了个体搜索空间,理论定性分析表明ECO依概率1收敛于全局最优解,而种群多样性指标分析证明了算法全局寻优能力.其次,针对贪婪重构算法高维稀疏信号重构效率低、稀疏度事先设定的缺陷,在设计重构有效性指数的基础上将ECO应用于压缩感知重构算法中,并引入拟牛顿梯度追踪策略,从而实现对大规模稀疏度未知数据的准确重构.最后,利用多维测试函数和WSNs数据采集环境进行仿真,仿真结果表明,ECO在收敛精度和成功率上具有一定优势,而且相比于其他重构算法,高维稀疏信号重构结果明显改善.     

一种减小方差求解非光滑问题的随机优化算法

随机优化算法是求解大规模机器学习问题的高效方法之一.随机学习算法使用随机抽取的单个样本梯度代替全梯度,有效节省了计算量,但却会导致较大的方差.近期的研究结果表明:在光滑损失优化问题中使用减小方差策略,能够有效提高随机梯度算法的收敛速率.考虑求解非光滑损失问题随机优化算法COMID(compositeobjective mirror descent)的方差减小问题.首先证明了COMID具有方差形式的O(1/√T+σ²/√T)收敛速率,其中,T是迭代步数,σ²是方差.该收敛速率保证了减小方差的有效性,进而在COMID中引入减小方差的策略,得到一种随机优化算法α-MDVR(mirror descent with variance reduction).不同于Prox-SVRG(proximal stochastic variance reduced gradient),α-MDVR收敛速率不依赖于样本数目,每次迭代只使用部分样本来修正梯度.对比实验验证了α-MDVR既减小了方差,又节省了计算时间.     

基于LBI的二维复稀疏信号重建算法及应用研究

针对二维复稀疏信号重建时存在存储空间和计算复杂度增加的问题, 本文提出了一种快速并行重建二维复稀疏信号的并行线性Bregman迭代(Parallel fast linearized Bregman iteration, PFLBI)算法. 首先, 构建了二维复稀疏信号的结构模型以及PFLBI算法基本迭代格式; 其次, 通过变步长方式提高迭代收敛速度, 而每次迭代的步长则是通过估计中间变量的积累量突破收缩阈值需要的积累步数得到的; 再次, 对算法的性能指标进行了分析; 最后, 将该算法应用于逆合成孔径雷达(Inverse synthetic aperture radar, ISAR)成像. 实验结果表明该算法在重建性能和速度上具有优势.     

非均衡加权随机梯度下降SVM在线算法

随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的不平衡。为了处理大规模非均衡数据分类问题,提出了加权随机梯度下降的SVM在线算法,对于多数类中的样例被赋予较小的权值,而少数类中的样例被赋予较大的权值,然后利用加权随机梯度下降算法对SVM原问题进行求解,减少了超平面向少数类的偏移,较好地解决了大规模学习中非均衡数据的分类问题。     

机器学习随机优化方法的个体收敛性研究综述

随机优化方法是求解大规模机器学习问题的主流方法,其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构。目前,正则化损失函数问题已得到了众多形式的随机优化算法,但绝大多数只是对迭代进行 平均的输出方式讨论了收敛速率,甚至无法保证最为典型的稀疏结构。与之不同的是,个体解能很好保持稀疏性,其最优收敛速率已经作为open问题被广泛探索。另外,随机优化普遍采用的梯度无偏假设往往不成立,加速方法收敛界中的偏差在有偏情形下会随迭代累积,从而无法应用。本文对一阶随机梯度方法的研究现状及存在的问题进行综述,其中包括个体收敛速率、梯度有偏情形以及非凸优化问题,并在此基础上指出了一些值得研究的问题。     

一种监督降维的OP-LASRC算法在行为识别中的应用*

针对大数据的人体行为识别时实时性差和识别率低的问题,提出了优化投影对线性近似稀疏表示分类(OP-LASRC)的监督降维算法。OP-LASRC将高维的行为数据优化投影到低维空间,与线性近似稀疏表示(LASCR)快速分类算法相结合应用大数据的人体行为识别。首先利用LASCR的残差计算规律设计OP-LASRC算法,实现监督降维;利用线性正交投影缩减高维数据的维度,投影时减小训练样本的本类重构残差及增大类间重构残差,从而保留训练样本的类别特征。然后,对降维后的行为数据,利用LASCR算法进行分类;用L2范数估算稀疏系数,选出前k个最大的稀疏系数对应的训练样本,缩减训练样本库后用L1范数最小化和残差最小化计算得到识别结果,从识别率、鲁棒性、执行时间三个方评价此方法,在KTH行为数据库上进行实验测试。实验表明：OP-LASRC监督降维后,LASRC在分类时不仅识别率高达96.5%,执行时间比同类算法短,而且保证了强鲁棒性,证明了OP-LASRC能完美匹配LASCR算法用于行为识别,这为大数据的行为识别提供了一种新的思路。     

一个估计随机流网络可靠性的新方法

首先提出了一个名为状态树搜索(State-tree Search),用以计算随机流网络可靠性的算法,在此基础上提出了一个改进的算法-SS-MC(State-tree Search & Monte Carlo).状态树搜索方法通过在一个状态树中搜索所有的有效状态来计算网络的可靠性;而SS-MC方法将分层抽样技术引入状态树搜索过程来实现大规模网络的可靠性评估.仿真结果表明SS-MC方法是有效的,并具有较小的方差.     

随机行走算法研究及其在电源/地线网络瞬态优化中的应用

实验分析了电源/地线(P/G)网络的随机行走算法,与传统的预优共轭梯度法比较发现,当随机行走求解较少节点时性能较好,但在大规模P/G网络瞬态分析中相对较慢.通过修改随机行走过程进行伴随网络的瞬态分析,提出一种快速计算灵敏度的算法.实验结果表明,该算法计算时间较短,与精确结果误差较小.     

用于稀疏系统辨识的变步长加权零吸引最小平均p范数算法

在α稳定分布噪声背景下,为了提高稀疏系统自适应辨识算法的稳态性能,提出了基于无噪先验误差功率函数的变步长加权零吸引最小平均p范数基本算法(BVSS-RZA-LMP)和变步长加权零吸引最小平均p范数改进算法(IVSS-RZA-LMP).两种算法分别根据无噪先验误差功率和加权的无噪先验误差功率计算新的步长;步长随无噪先验误差功率的减小而逐渐减小.当算法达到稳态时, IVSS-RZA-LMP算法不再调整权矢量,改进了BVSSRZA-LMP算法稳态性能.α稳定分布噪声背景下的系统辨识仿真结果表明,当系统较稀疏时, IVSS-RZA-LMP算法能够在较快收敛的情况下获得非常小的稳态误差.     

互不同随机整数序列的快速选取算法（FSR）研究

研究互不同相的随机整数序列的选取算法是一个非常重要的课题，这里我们给出了一种采用二分技术的互不相同的随机整数快速选取策略（FSR），并证明了采用该算法在某一区间（M，N）内选取R个互不相同的随机整数所需的步长仅O[log2R]，其随机周期达到（N－M－1）！／（N-M-1-R)!，而经典算法所需的步长的R，其随机周期仅为（N－M－1）。