自适应策略下Heavy-Ball型动量法的最优个体收敛速率

同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速率,说明自适应策略下Heavy-Ball型动量法兼具动量的加速特性和自适应步长对超参数的低依赖性.求解l₁范数约束下的Hinge损失问题,验证理论分析的正确性.     

基于AdaBelief的Heavy-Ball动量方法

同时使用动量和自适应步长技巧的自适应矩估计(Adaptive Moment Estimation,Adam)型算法广泛应用于深度学习中.针对此方法不能同时在理论和实验上达到最优这一问题,文中结合AdaBelief灵活调整步长提高实验性能的技巧,以及仅采用指数移动平均(Exponential Moving Average,EMA)策略调整步长的Heavy-Ball动量方法加速收敛的优点,提出基于AdaBelief的Heavy-Ball动量方法.借鉴AdaBelief和Heavy-Ball动量方法收敛性分析的技巧,巧妙选取时变步长、动量系数,并利用添加动量项和自适应矩阵的方法,证明文中方法对于非光滑一般凸优化问题具有最优的个体收敛速率.最后,在凸优化问题和深度神经网络上的实验验证理论分析的正确性,并且证实文中方法可在理论上达到最优收敛性的同时提高性能.     

随机ADD算法的不确定网络优化研究

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢.加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率.但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证.基于此,提出了一种随机形式的ADD算法来解决该网络优化问题.理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值.实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级.     

梯度有偏随机DA优化方法的个体收敛界分析

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差,且最优的个体收敛界在噪声的干扰下无法确定。为此,提出一种线性插值随机对偶平均(DA)优化方法。给出DA方法收敛性的证明,在梯度估计有偏的基础上,求解得到一种线性插值DA随机优化方法不产生累积偏差的个体收敛界,以保证正则化损失函数结构下优化方法的个体收敛精度。实验结果表明,与随机加速方法相比,该方法具有较快的个体收敛速率与较高的收敛精度。     

基于AdaGrad+的自适应Heavy-Ball动量法及其最优个体收敛性

自适应策略与动量法是提升优化算法性能的常用方法。目前自适应梯度方法大多采用AdaGrad型策略，但该策略在约束优化中效果不佳，为此，研究人员提出了更适用于处理约束问题的AdaGrad+方法，但其与SGD一样在非光滑凸情形下未达到最优个体收敛速率，结合NAG动量也并未达到预期的加速效果。针对上述问题，文中将AdaGrad+调整步长的策略与Heavy-Ball型动量法加速收敛的优点相结合，提出了一种基于AdaGrad+的自适应动量法。通过设置加权动量项、巧妙选取时变参数和灵活处理自适应矩阵，证明了该方法对于非光滑一般凸问题具有最优个体收敛速率。最后在l_∞∞范数约束下，通过求解典型的hinge损失函数优化问题验证了理论分析的正确性，通过深度卷积神经网络训练实验验证了该方法在实际应用中也具有良好性能。     

改进的RBF学习算法及其相似性应用

针对RBF网络梯度下降法容易造成网络收敛速度不够快和陷入局部极小的缺陷,引入一个具有步长先验知识的神经网络来动态调整梯度下降法中的学习步长.该算法中构造了两个RBF网络,分别设为A网和B网,其中A网具有步长先验知识.当B网络陷入局部极小时,则调用A网获得优化的学习步长,进而来提高B网络的收敛速度.实验结果表明了该算法的有效性和优越性.同时,该算法对相似性问题也有较好的解决能力.     

两相图像变分分割凸松弛模型快速算法

主要研究两相图像分割凸模型的三类快速数值算法.首先,分别针对无约束和有约束的图像分割凸模型分别提出相应的具有O(1/k)阶收敛速率的梯度投影算法,并结合快速迭代收缩算法的加速收敛策略,将所提出的梯度投影算法的收敛速率从O(1/k)阶提高到O(1/k2)阶;其次,基于分块协调下降的思想,对无约束的图像分割凸模型采用Newton法求解,该算法不仅是单调下降的,而且具有二阶收敛性;然后,根据交互式迭代算法的思想,在约束模型的Fenchel原始-对偶形式的基础上,提出了一种通过原始变量和对偶变量交互式混合迭代求解的算法,所提出的算法在求解过程中避免了梯度算子和散度算子作用于未知变量,使得迭代形式更简单;最后,仿真实验表明了这3类算法的有效性和在收敛速率上的优势.     

基于进化梯度搜索的多目标混合优化算法

基于梯度信息的线性搜索法具有快速的收敛性,但易陷入局部最优。当优化目标不可解析时,基于梯度信息的算法便不易应用。多目标进化算法以其优秀的全局特性广泛地应用于多目标优化问题,但其算法比较耗时,收敛速度慢。对此,本文提出一种基于进化梯度搜索的多目标混合算法。首先,结合单目标优化中的爬山算法与进化梯度搜索法,得到一种多目标局部搜索算法。其次,在算法前期采用适应度概率策略选择个体进行局部搜索。最后,在非支配集个体数达到种群个体数后,应用多目标进化算法保证其分布性。通过ZDT系列测试函数验证并与NSGA-II及EGS-NSGA-II混合算法比较,结果显示本算法具有更好的全局性及收敛快速性。     

分数阶原始对偶去噪模型及其数值算法

目的：本文结合分数阶微积分理论和对偶理论,提出了一种与分数阶ROF去噪模型等价的分数阶原始对偶模型。从理论上分析了该模型与具有鞍点结构的优化模型在结构上的相似性,从而可使用求解鞍点问题的数值算法求解该模型。方法：使用求解鞍点问题的基于预解式的原始对偶算法对提出模型进行求解,并采用自适应变步长迭代优化策略提高寻优效率,弥补了传统数值算法对步长要求过高的缺陷。同时论证了确保算法收敛性的参数取值范围。结果：实验结果表明,提出的分数阶原始对偶模型能够有效地抑制“阶梯效应”,保护纹理和细节信息,同时采用的数值算法具有较快的收敛速度。结论：本文提出了一种分数阶原始对偶去噪模型,该模型可采用一种基于预解式的原始对偶算法进行求解。实验结果表明,提出的模型能有效改善图像的视觉效果,采用的数值算法能有效快速收敛。     

具有线性收敛速度的最优化方法的一个算法模型及其应用

§1 算法模型利用函数的梯度求解无约束优化问题的各种下降方法,求解约束最优化问题的梯度投影法、梯度投影恢复算法、缩简梯度法和一些能行方向法,均具有线性的终端收敛速度。但是这个结果的证明非常繁复,并且是对各个方法单独进行的。当考虑到它们在计算机上实现的各种误差处理时,情况显得更加复杂,使得算法的收敛性和收敛速度的分析不易进行。为了克服这个困难,目前已建立起抽象的算法模型,可以统一地处理这些算法的收敛     

非负矩阵分解的非单调自适应BB步长算法

基于交替非负最小二乘算法的框架,提出一种非负矩阵分解的非单调自适应BB（Barzilai-Borwein）步长算法。虽然该算法的步长不是由线搜索取得的,但是满足非单调线搜索,从而保证了算法的全局收敛性。同时该算法使用自适应BB步长和梯度的Lipschitz常数来提高算法的收敛速度。最后在理论上证明了该算法是收敛的,同时数值试验和人脸识别的试验结果表明该算法是有效的且优于其他算法。     

Memory based Hybrid Dragonfly Algorithm for numerical optimization problems

Dragonfly algorithm (DA) is a recently proposed optimization algorithm based on the static and dynamic swarming behaviour of dragonflies. Due to its simplicity and efficiency, DA has received interest of researchers from different fields. However, it lacks internal memory which may lead to its premature convergence to local optima. To overcome this drawback, we propose a novel Memory based Hybrid Dragonfly Algorithm (MHDA) for solving numerical optimization problems. The pbestand gbest concept of Particle Swarm optimization (PSO) is added to conventional DA to guide the search process for potential candidate solutions and PSO is then initialized with pbest of DA to further exploit the search space. The proposed method combines the exploration capability of DA and exploitation capability of PSO to achieve global optimal solutions. The efficiency of the MHDA is validated by testing on basic unconstrained benchmark functions and CEC 2014 test functions. A comparative performance analysis between MHDA and other powerful optimization algorithms have been carried out and significance of the results is proved by statistical methods. The results show that MHDA gives better performance than conventional DA and PSO. Moreover, it gives competitive results in terms of convergence, accuracy and search-ability when compared with the state-of-the-art algorithms. The efficacy of MHDA in solving real world problems is also explained with three engineering design problems.     

Monotonic convergence of fixed-point algorithms for ICA

We re-examine a fixed-point algorithm proposed by Hyvarinen for independent component analysis, wherein local convergence is proved subject to an ideal signal model using a square invertible mixing matrix. Here, we derive step-size bounds which ensure monotonic convergence to a local extremum for any initial condition. Our analysis does not assume an ideal signal model but appeals rather to properties of the contrast function itself, and so applies even with noisy data and/or more sources than sensors. The results help alleviate the guesswork that often surrounds step-size selection when the observed signal does not fit an idealized model.     

非平衡有向网络的完全分布式凸优化

分布式凸优化问题的目的是如何以分布式方法最小化局部智能体成本函数和,而现有分布式算法的控制步长选取依赖于系统智能体个数、伴随矩阵等全局性信息,有悖于分布式算法的初衷.针对此问题,提出一种基于非平衡有向网络的完全分布式凸优化算法(FDCOA).基于多智能体一致性理论和梯度跟踪技术,设计了一种非负余量迭代策略,使得FDCOA的控制步长收敛范围仅与智能体局部信息相关,进而实现控制步长的分布式设置.进一步分析了FDCOA在固定强连通和时变强连通网络情形下的收敛性.仿真结果表明本文构建的分布式控制步长选取方法对FDCOA在有向非平衡下的分布式凸优化问题是有效的.     

BAS-ADAM: An ADAM Based Approach to Improve the Performance of Beetle Antennae Search Optimizer

In this paper, we propose enhancements to Beetle Antennae search (BAS) algorithm, called BAS-ADAM, to smoothen the convergence behavior and avoid trapping in local-minima for a highly non-convex objective function. We achieve this by adaptively adjusting the step-size in each iteration using the adaptive moment estimation (ADAM) update rule. The proposed algorithm also increases the convergence rate in a narrow valley. A key feature of the ADAM update rule is the ability to adjust the step-size for each dimension separately instead of using the same step-size. Since ADAM is traditionally used with gradient-based optimization algorithms, therefore we first propose a gradient estimation model without the need to differentiate the objective function. Resultantly, it demonstrates excellent performance and fast convergence rate in searching for the optimum of non-convex functions. The efficiency of the proposed algorithm was tested on three different benchmark problems, including the training of a high-dimensional neural network. The performance is compared with particle swarm optimizer (PSO) and the original BAS algorithm.      

自适应回波抵消中变步长NLMS算法的研究

在对变步长NLMS(VSS-NLMS)的几种算法以及各个算法在远端和双端通话模式下的性能分析比较的基础上,对NEW-NPVSS算法进行了改进。在双端通话的情况下改进算法具有更好的收敛性;然后提出了基于滤波器系数梯度的变步长NLMS新算法,当滤波器系数梯度小于门限值时,采用固定步长更新滤波器系数。反之,则停止更新滤波器系数,并且用远端模式下的系数替代当前系数。仿真结果表明所提出的算法在远端通话模式下比其他变步长NLMS算法具有更好的收敛性,在双端情况下具有比固定步长NLMS、SVSS更好的收敛性。     

Convergence of the doubling algorithm for the discrete-time algebraic Riccati equation

If the doubling algorithm (DA) for the discrete-time algebraic Riccati equation converges, the speed of convergence is high. However, its convergence has not yet been examined exactly. Firstly, a certain matrix appearing in the DA is shown to be non-singular and therefore the algorithm is well defined. Secondly, it is found that the loss of significant digits hardly occurs in the DA. Finally, it is proved that if the time-invariant discrete-time linear system, whose state is estimated by the steady-state Kalman filter, is reachable and detectable, or stabilizable and observable, then all three matrix sequences in the DA converge.     

非光滑凸情形Adam型算法的最优个体收敛速率

Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解 ${l_1}$ 范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。     

基于非线性主成分分析的自适应变步长盲源分离算法

算法的迭代步长对于算法的收敛性能有着重要影响。针对固定步长的非线性主成分分析(NPCA)算法不能兼顾收敛速度和估计精度的情形,提出基于梯度的自适应变步长NPCA算法和最优变步长NPCA算法两种自适应变步长算法来改善其收敛性能。特别地,最优变步长NPCA算法通过对代价函数进行一阶线性近似表示,从而计算出当前的最优迭代步长。该算法的迭代步长随估计误差的变化而变化,估计误差大,迭代步长相应大,反之亦然;且不需要人工设置任何参数。仿真结果表明,当算法的估计精度相同时,与固定步长NPCA算法相比,两种自适应变步长NPCA算法相对固定步长NPCA算法都具有更好的收敛速度或跟踪性能,且最优变步长NPCA算法的性能优于基于梯度的自适应变步长NPCA算法。