梯度有偏情形非光滑问题NAG的个体收敛性

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.     

机器学习随机优化方法的个体收敛性研究综述

随机优化方法是求解大规模机器学习问题的主流方法,其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构。目前,正则化损失函数问题已得到了众多形式的随机优化算法,但绝大多数只是对迭代进行 平均的输出方式讨论了收敛速率,甚至无法保证最为典型的稀疏结构。与之不同的是,个体解能很好保持稀疏性,其最优收敛速率已经作为open问题被广泛探索。另外,随机优化普遍采用的梯度无偏假设往往不成立,加速方法收敛界中的偏差在有偏情形下会随迭代累积,从而无法应用。本文对一阶随机梯度方法的研究现状及存在的问题进行综述,其中包括个体收敛速率、梯度有偏情形以及非凸优化问题,并在此基础上指出了一些值得研究的问题。     

基于测量矩阵优化的分布式压缩估计算法

为更好地解决无线传感网分布式测量中有效数据估计问题,提出一种新的分布式压缩估计算法。通过在一个压缩维度上完成未知参数变量的分布式估计,并采用自适应随机梯度递归方法更新测量矩阵,将分布式压缩估计与测量矩阵优化相结合,实现收敛速度及估计误差精度的最优化。仿真结果表明,与d NLMS、DCE算法相比,该算法具有更快的收敛速度及更高的估计误差精度。     

多个体网络分布式随机投影无梯度优化算法

研究了有向多个体网络的无梯度优化问题,提出了一种分布式随机投影无梯度优化算法。假定网络的优化目标函数可分解成所有个体的目标函数之和,每个个体仅知其自身的目标函数及其自身的状态约束集。运用无梯度方法解决了因个体目标函数可能非凸而引起的次梯度无法计算问题,并结合随机投影算法解决了约束集未知或约束集投影运算受限的问题。在该算法作用下,所有个体状态几乎必然收敛到优化集内,并且网络目标函数得到最优。     

基于差分修正的SGDM算法

当前, 应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器, 前者以SGDM为代表, 后者以Adam为代表, 这两类方法都使用指数滑动平均法来估计总体的梯度. 然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的, 本文提出基于差分修正的SGDM算法——RSGDM算法. 我们的贡献主要有3点: 1) 分析SGDM算法里指数滑动平均法带来的偏差和滞后性. 2) 使用差分估计项来修正SGDM算法里的偏差和滞后性, 提出RSGDM算法. 3) 在CIFAR-10和CIFAR-100数据集上实验证明了在收敛精度上我们的RSGDM算法比SGDM算法更优.     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

基于改进迭代收缩阈值算法的微观3D重建方法

迭代收缩阈值算法（ISTA）求解离焦深度恢复动态优化问题时,采用固定迭代步长,导致算法收敛效率不佳,使得重建的微观3D形貌精度不高。为此,提出一种基于加速算子梯度估计和割线线性搜索的方法优化ISTA——FL-ISTA。首先,在每一次迭代中,由当前点和前一个点的线性组合构成加速算子重新进行梯度估计,更新迭代点;其次,为了改变迭代步长固定的限制,引入割线线性搜索,动态确定每次最优迭代步长;最后,将改进的迭代收缩阈值算法用于求解离焦深度恢复动态优化问题,加快算法的收敛速度、提高微观3D形貌重建的精度。在对标准500 nm尺度栅格的深度信息重建实验中,与ISTA、快速ISTA （FISTA）和单调快速ISTA （MFISTA）相比,FL-ISTA收敛速度均有所提升,重建的深度信息值下降了10个百分点,更接近标准500 nm栅格尺度;与ISTA相比,FL-ISTA重建的微观3D形貌均方差（MSE）和平均误差分别下降了18个百分点和40个百分点。实验结果表明,FL-ISTA有效提升了求解离焦深度恢复动态优化问题的收敛速度,提高了微观3D形貌重建的精度。     

改进的粒子滤波单通道盲分离算法

针对粒子滤波在通信混合信号单通道盲分离中存在固定参数联合估计精度低,收敛速度慢等问题,提出了一种改进的盲分离算法。通过对传统的随机游走模型加以修改,并将参数粒子的后验概率密度分布近似为Beta分布,提高了参数估计的收敛速度和精度,改善了分离性能;为了衡量算法的参数估计性能,推导了符号已知条件下的参数联合估计克拉美罗界。实验仿真结果表明,算法具有更好的参数估计性能和分离性能。     

自适应梯度指导交叉的进化算法

针对进化算法随机盲目搜索的缺点,提出一种新的自适应梯度信息指导交叉的进化算法.该算法首先利用混沌序列初始化种群,在迭代过程中,根据当前最优个体的梯度信息和种群与个体的聚集程度,自适应地确定最优个体的负梯度方向范围,在该范围内随机选择个体与当前最优个体进行算术交叉操作,使交叉后的个体以较大概率向较好解的方向进化.另外,引入自适应变异算子用于平衡算法的开发和探测能力.几个典型测试函数的实验结果表明,新算法具有较高的收敛精度.     

基于混沌映射与反向学习机制的非线性灰狼优化算法

为提高灰狼优化算法种群多样性和搜索解的质量,提出一种基于Tent混沌函数与反向学习机制的非线性灰狼优化算法。采用Tent混沌函数和反向学习机制进行种群个体初始化,使得初始种群个体分布均匀及多样性增强;引入一种非线性收敛因子控制策略,平衡其全局搜索能力和局部搜索能力;引入动态权重策略以提升灰狼优化算法的收敛速度和收敛能力。为验证改进算法的有效性,采用8个基准数学函数测试其收敛速度和收敛精度,并与GWO、CGWO和I-GWO三种灰狼算法进行对比。实验结果表明:非线性灰狼优化算法在多个测试函数上的收敛精度均达到了10-5以上,收敛精度和收敛速度优于其他三种对比算法。