加权[lp]范数LMS算法的稀疏系统辨识

针对经典最小均方（LMS）算法没有考虑冲击响应通常具有稀疏性的特点,一般的稀疏LMS算法当自适应趋于稳态时,对小系数施加过大的吸引力,导致稳态误差增大的缺点,提出对稀疏系统进行辨识的改进的[lp(0相似文献   

一种基于罚函数的机器人路径规划方法

给出了一种基于罚函数的机器人路径规划方法;这种方法将机器人的路径规划由一系列带约束非线形规划问题转化为一系列无约束非线形规划问题来求解,仿真结果表明,罚函数方法是一种富有效率的解决机器人路径规划问题的方法,能够大幅度降低运算时间的复杂性,提高移动机器人的实时性。     

应用罚函数求解二层线性优化问题的全局优化方法

应用罚函数原理，将二层线性优化问题转化为目标函数带有罚函数子项的非线性优化问题，当罚系数大于某一数值时，库函数项为一精确项，该非线性优化问题用渐的进外逼近算法可求出其全局最优解。     

一种求解整数规划与混合整数规划非线性罚函数方法

证明了任何一个变量有界的整数规划问题（IP）和混合整数规划问题（MIP）都可以转化为一个等价的非整数（或连续化）规划问题（NIP），并给出一个用非线性精确罚函数法来求解该等价NIP的方法，从而达到求解IP或MIP的目的，数值实验表明了算法的可行性。该方法可广泛用于各应用领域里IP和MIP的求解，特别是为非线性IP和MIP问题提供了一条通用 的求解途径，对解决许多实际优化问题具有重要意义。     

基于Oracle罚方法的混合约束差分进化算法

为有效求解复杂约束优化问题,提出了一种基于Oracle的混合约束差分进化算法OBHSaDE.在OBHSaDE算法中,首先对Oracle罚方法进行了改进,并符合约束优化问题的求解要求.利用改进后的Oracle罚方法来快速找到问题的可行域,借助无约束优化算法SaDE能对可行域进行有效搜索,利用序列二次规划的超线性的收敛速度来减少评估次数和提高解的质量.仿真结果表明,改进算法不仅减少了评估次数、提高了解的质量,且具有很好的鲁棒性,还具有较少的用户参数,提高了算法的实用性.OBHSaDE是求解约束优化问题的一种具有竞争力的新方法.     

压缩感知优化问题的等价表示及其目标罚函数方法

首先定义了压缩感知优化问题的一个等价表示问题,证明了这个等价表示问题的最优解也是压缩感知优化问题的最优解。然后定义了它的一个具有2阶以上的光滑性的目标罚函数,给出了一个迭代求解算法,证明了所提算法的收敛性定理。定理表明,可以通过求解目标罚函数来获得压缩感知优化问题的近似最优解,该方法为研究和解决实际的压缩感知问题提供了一个新的工具。     

Lp范数压缩感知图像重建优化算法

目的 压缩感知理论中的重构算法作为关键技术之一,在科学研究方面起到了关键的作用。常用的重构算法包括L₀范数的非凸优化算法和L₁范数的凸优化算法,但它们的缺点是重构精度不高,运算时间很长。为了克服这一缺陷,提高现有基于L_p范数的压缩感知图像重构算法的重建精度和算法效率,本文提出改进算法。方法 针对拉格朗日函数序列二次规划（SQP）方法中海瑟（Hesse）矩阵不正定导致计算量很大的问题,引入价值函数,修正Hesse矩阵的序列二次规划方法并结合图像分块压缩感知技术,提出了一种基于L_P范数压缩感知图像重构算法。结果 在采样率同为40%情况下,本文算法下的信噪比为34.28 dB,高于BOMP（block orthogonal matching pursuit）算法信噪比2%,高于当罚函数作为修正方法时的13.2%。本文算法计算时间为190.55 s,快于BOMP算法13.4%,快于当罚函数作为修正方法时的67.5%。采样率同为50%的情况下,本文算法下的信噪比为35.42 dB,高BOMP算法信噪比2.4%,高于当罚函数作为修正方法时信噪比12.8%。本文算法的计算时间是196.67 s,快于BOMP算法68.2%,快于81.7%。在采样率同为60%的情况下,本文算法的信噪比为36.33 dB,高于BOMP算法信噪比3.2%,高于当罚函数作为修正方法时信噪比8.2%。本文算法计算时间为201.72 s,快于BOMP算法82.3%,快于当罚函数作为修正方法时86.6%。在采样率为70%的情况下,本文算法信噪比38.62 dB,高于BOMP算法信噪比2.5%,高于当罚函数作为修正方法时信噪比9.8%。本文算法计算时间为214.68 s,快于BOMP算法88.12%,快于当罚函数作为修正方法时的91.1%。实验结果显示在相同的采样率的情况下,本文改进算法在重构精度和算法时间上均优于BOMP算法等其他算法。并且采样率越高,重构图像精度越来越高,重构算法时间越来越短。结论 通过实验对本文算法、BOMP重构算法等其他算法在信噪比和算法计算时间进行对比,在不同采样率下,本文算法都明显优于其他两种算法,而且在采样率仅为20.5%时,信噪比高达85.154 3 dB,重构图像比较清晰。本文算法的最大优点在于采用了分块压缩感知技术,提高图像重构效率,降低了重构时间,缺点是在图像采样率比较低的情况下,存在图像干扰块效应。接下来研究方向是如何在采样率低的情况下,高精度地还原图片,消除图像干扰块效应。     

结合改进的损失函数与多重范数的人脸识别

针对在卷积神经网络中定义损失函数为余弦裕度损失函数（Cosineface）后导致收敛变慢以及在实际使用过程中使用L2范数衡量特征相似度存在缺陷的问题,提出了斜率可变的余弦裕度损失函数（Kcosine）和多重范数计算特征相似度的方法。该方法通过在余弦裕度损失函数的基础上添加余弦斜率因子,使得损失函数类内约束随着余弦值的增大而逐渐增强,显式地缩小类内距离,同时利用L2范数和L∞范数构建人脸特征相似度向量,并通过支撑向量机（SVM）实现分类,修正L2范数空间衡量的不稳定性。在LFW和Agedb的数据库上1∶1验证实验表明,改进的损失函数不仅加快了训练的收敛速度,并且将类内距离减少15%以上,同时通过使用多重范数特征代替L2范数,可以将识别率均值提升0.1%左右,标准差也有所降低。     

罚函数凸优化迭代算法及在无人机路径规划中的应用

针对无人机路径规划问题,建立了具有定常非线性系统、非仿射等式约束、非凸不等式约束的非凸控制问题模型,并对该模型进行了算法设计和求解。基于迭代寻优的求解思路,提出了凸优化迭代求解方法和罚函数优化策略。前者利用凹凸过程(CCCP)和泰勒公式对模型进行凸化处理,后者将经处理项作为惩罚项施加到目标函数中以解决初始点可行性限制。经证明该方法严格收敛到原问题的Karush-Kuhn-Tucker(KKT)点。仿真实验验证了罚函数凸优化迭代算法的可行性和优越性,表明该算法能够为无人机规划出一条满足条件的飞行路径。     

基于最优小波和序列二次规划的信号压缩算法

为了寻找待压缩信号的最优小波,提出了一种适用于一维和二维信号的寻找其最优正交小波的算法.首先根据小波变换的多分辨分析原理,把待压缩信号投影在其小波变换子空间v-1和w-1上;然后令其在w-1上的投影达到最小并据此推出最优小波滤波器的推导公式;最后,基于序列二次规划求出给定信号的最优小波.实验清楚地显示了用新算法求出的最优小波的正确性,并表明用此算法得出的最优小波进行信号压缩,在压缩比不变的情况下,效果优于D-8小波等其他常见小波.     

The ‘Idiot’ crash quadratic penalty algorithm for linear programming and its application to linearizations of quadratic assignment problems

ABSTRACT

We provide the first meaningful documentation and analysis of the ‘Idiot’ crash implemented by Forrest in Clp that aims to obtain an approximate solution to linear programming (LP) problems for warm-starting the primal simplex method. The underlying algorithm is a penalty method with naive approximate minimization in each iteration. During initial iterations an approach similar to augmented Lagrangian is used. Later the technique corresponds closely to a classical quadratic penalty method. We discuss the extent to which it can be used to obtain fast approximate solutions of LP problems, in particular when applied to linearizations of quadratic assignment problems.     

Feasibility refinement in sequential quadratic programming using parametric sensitivity analysis

In this paper we present results that extend the sequential quadratic programming (SQP) algorithm with an additional feasibility refinement based on parametric sensitivity derivatives. The refinement is applicable without restriction on the problem dimensions in sparse SQP solvers. Parametric sensitivity analysis is a tool for post optimality analysis of the solution of a nonlinear optimization problem. For the refinement approach we apply this technique on the quadratic subproblems in order to improve the overall algorithm. The sensitivity derivatives required for this approach can be computed without noticeable computational effort as the system of linear equations to be solved coincides with the system already solved for the search direction computation. For similar algorithms in the context of post optimality analysis a linear rate of convergence has been proven and therefore an extrapolation method is applied to speed up the process. The presented algorithm has been integrated into the nonlinear program (NLP) solver WORHP and we perform a numerical study to evaluate different termination criteria for the proposed algorithm. Furthermore, numerical results on the CUTEst test set are shown.     

基于SQP 局部搜索的混沌粒子群优化算法

提出一种基于序贯二次规划(SQP)法的混沌粒子群优化方法(CPSO-SQP).将混沌PSO作为全局搜索器,并用SQP加速局部搜索,使得粒子能够在快速局部寻优的基础上对整个空间进行搜索,既保证了算法的收敛性,又大大增加了获得全局最优的几率.仿真结果表明,算法精度高、成功率大、全局收敛速度快,明显优于现有算法.将所提出的算法用于高密度聚乙烯(HDPE)装置串级反应过程的乙烯单耗优化,根据工业反应机理以及现场操作经验分析可知,所提出的算法是可行的.     

信赖域共轭梯度法求解二次规划逆问题

为了有效地求解二次规划逆问题,提出了一种求解其对偶问题的子问题的光滑化信赖域共轭梯度法。该方法采用增广拉格朗日法求解其对偶问题,引入光滑函数将对偶问题的子问题转换成连续的无约束优化问题,将信赖域法与共轭梯度法结合,设计出求解二次规划逆问题的算法流程。数值实验结果表明,该方法可行且有效,与牛顿法相比,更适合求解大规模问题。     

A Long-step barrier method for convex quadratic programming

In this paper we propose a long-step logarithmic barrier function method for convex quadratic programming with linear equality constraints. After a reduction of the barrier parameter, a series of long steps along projected Newton directions are taken until the iterate is in the vicinity of the center associated with the current value of the barrier parameter. We prove that the total number of iterations isO(nL) orO(nL), depending on how the barrier parameter is updated.On leave from Eötvös University, Budapest and partially supported by OTKA 2116.     

非凸二次规划全局极小问题的新型分枝定界算法

针对求解多面集上二次函数的全局近似最优解问题,利用逐步缩小对偶间隙的处理办法,提出了一个新型分枝定界算法。新算法的主要改进之处是利用了Lagrange 对偶性获取下界。最后,用构造和随机产生的问题实例,对提出的新算法和传统的分枝定界算法做了初步的数值比较实验。计算实验表明算法对求解中大规模非凸二次规划问题的有效性。     

Optimal design of continuous time irrational filter with a set of fractional order gammatone components via norm relaxed sequential quadratic programming approach

This paper proposes a continuous time irrational filter structure via a set of the fractional order Gammatone components instead of via a set of integer order Gammatone components. The filter design problem is formulated as a nonsmooth and nonconvex infinite constrained optimization problem. The nonsmooth function is approximated by a smooth operator. The domain of the constraint functions is sampled into a set of finite discrete points so the infinite constrained optimization problem is approximated by a finite constrained optimization problem. To find a near globally optimal solution, the norm relaxed sequential quadratic programming approach is applied to find the locally optimal solutions of this nonconvex optimization problem. The current or the previous locally optimal solutions are kicked out by adding the random vectors to them. The locally optimal solutions with the lower objective functional values are retained and the locally optimal solutions with the higher objective functional values are discarded. By iterating the above procedures, a near globally optimal solution is found. The designed filter is applied to perform the denoising. It is found that the signal to noise ratio of the designed filter is higher than those of the filters designed by the conventional gradient descent approach and the genetic algorithm method, while the required computational power of our proposed method is lower than those of the conventional gradient descent approach and the genetic algorithm method. Also, the signal to noise ratio of the filter with the fractional order Gammatone components is higher than those of the filter with the integer order Gammatone components and the conventional rational infinite impulse response filters.     

基于SQP局部搜索的多子群果蝇优化算法

针对基本果蝇优化算法在寻优过程中种群多样性降低导致算法易陷入早熟收敛的问题,提出了基于序列二次规划（SQP）局部搜索的多子群果蝇优化算法（MFOA-SQP）。新算法将果蝇种群均匀划分为多个子群,并引入粒子群算法中的惯性权重和学习因子,协同调节果蝇移动方向和步长;每隔一定迭代次数重新划分子群,避免种群单一化,使算法更易跳出局部最优;对子群最优个体进行SQP搜索,提高局部寻优性能。通过6个测试函数和优化广义回归神经网络对银行客户进行分类的实验结果表明,算法在寻优精度和速度方面性能优越,能够有效提高广义回归神经网络的分类准确率。