结合广义Armijo步长搜索的一类新的共轭度算法及其收敛特征

对求解无约束规划的共轭梯度算法中共轭梯度方向中的参数给了一个假设条件。从而确定它的一个取值范围，使其在此范围内取值均能保证共轭梯度方向是目标函数的充分下降方向。提出了一类新的共轭梯度算法，在去掉迭代点列有界和广义Armijo步长搜索下讨论了算法的全局收敛性。同时给出了具有好的收敛性质和较快收敛速度的FR，PR，HS共轭梯度法的修正形式。数值例子表明新算法比Armijo搜索下的FR，PR，HS共轭梯算法更稳定更有效。算法需要较小的存储。特别适于求解大规模无约束最优化问题。     

一类Armijo搜索下的混合HS-PRP共轭梯度法?

为有效求解大规模无约束优化问题,本文基于HS方法和PRP方法,提出了一类新的混合共轭梯度法。该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向。在精确搜索下,本文算法将还原为标准的PRP方法。在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性。同时,数值实验表明本文算法可以有效求解优化测试问题。     

非精确搜索下的超记忆梯度法

本文提出一种新的无约束优化超记忆梯度算法,算法在每步迭代中充分利用前面迭代点的信息产生下降方向,采用Armijo非精确线性搜索产生搜索步长,在较弱的条件下证明了算法的全局收敛性。     

一个新的谱共轭梯度法

谱共轭梯度法含有两个方向调控参数,是求解无约束优化问题的一类有效方法.本文给出一对参数公式以构建新的谱共轭梯度法,该方法在精确线搜索下与标准FR方法等价,在Wolfe线搜索下具有类似标准DY方法的内在性质.我们证明了采用Wolfe线搜索的新算法在每一次迭代中均产生下降方向,并且具有全局收敛性.数值实验结果表明,新算法数值稳定、有效,适合于求解大规模无约束优化问题.     

求解大规模优化的混合共轭梯度法

为了有效求解大规模无约束优化问题,在PRP方法和FR方法的基础上,给出了满足共轭条件的新的混合共轭梯度法.在强Wolfe线性搜索下,证明了此算法的全局收敛性.在特定条件下,新公式与HS公式一致,因此可看作是对HS方法的修正.对7个经典无约束优化问题的数值实验结果表明,所提出的新方法数值稳定.相比已有方法,随着问题规模的增大,所提方法在迭代次数,优化精度及梯度调用次数方面表现出明显优势.     

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。     

一个充分下降的修正 PRP 型谱共轭梯度法

谱共轭梯度法是共轭梯度法的一种重要延拓,可以通过共轭参数和谱参数二维度调整,使得所设计算法的搜索方向满足某一预设条件,比如充分下降条件或共轭条件等。谱参数和共轭参数的设计是谱共轭梯度法的两大核心工作,决定方法的收敛性和数值效果。基于 PRP 方法,构造了一个修正的 PRP 型共轭参数,该共轭参数不仅保持了 PRP 公式的结构和性能,而且具有 FR 方法的收敛性质。利用充分下降条件取定一个谱参数,与修正的 PRP 型共轭参数结合,建立一个新的谱共轭梯度算法。该算法不依赖于任何线搜索就可以满足充分下降条件。常规假设条件下,采用强 Wolfe 线搜索准则产生步长,证明了新算法的全局敛性。通过 100 个算例对该算法进行数值测试并与其他五个算法进行比较,同时采用性能图对数值结果进行直观展示,结果表明该算法是有效的。     

在Armijo型线搜索下共轭下降法的收敛性

我们提出了两种Armijo型线搜索,进而证明了这两种Armijo型线搜索可保证共轭下降法的下降搜索方向的充分下降性。并在这两种Armijo型线搜索下得到共轭下降法的收敛性结果。     

Wolfe线搜索下一个新的全局收敛共轭梯度法

共轭梯度法是求解大规模无约束优化问题的有效方法之一,其研究十分活跃.本文给出了一个新的共轭梯度法公式,新公式在精确线搜索下与DY公式等价.基于新公式,采用Wolfe非精确线搜索确定步长,本文设计了一个新的共轭梯度算法,并证明了新算法的下降性和全局收敛性.数值试验结果表明所设计新算法是有效的.     

一类新的记忆梯度法及其收敛性

本文着重研究求解无约束优化问题的记忆梯度法,利用当前和前面一步迭代点的信息产生下降方向,采用Armijo线性搜索确定步长,得到了一类新的无约束优化算法。新算法在较弱的条件下具有全局收敛性和线性收敛速率,并且不用计算和存储矩阵,适于求解大规模优化问题。数值试验表明算法是有效的。     

一个新的带误差项的记忆梯度算法

对无约束规划问题,本文提出了结合Armijo步长搜索规则的一类带误差项的记忆梯度求解算法,并在目标函数的梯度一致连续的条件下,证明了算法的全局收敛性。同时给出带误差项的结合拟-Newton方程的记忆梯度算法。数值例子表明算法是有效的。     

The harmony search heuristic algorithm for discrete structural optimization

Many methods have been developed and are in use for structural size optimization problems, in which the cross-sectional areas or sizing variables are usually assumed to be continuous. In most practical structural engineering design problems, however, the design variables are discrete. This paper proposes an efficient optimization method for structures with discrete-sized variables based on the harmony search (HS) heuristic algorithm. The recently developed HS algorithm was conceptualized using the musical process of searching for a perfect state of harmony. It uses a stochastic random search instead of a gradient search so that derivative information is unnecessary. In this article, a discrete search strategy using the HS algorithm is presented in detail and its effectiveness and robustness, as compared to current discrete optimization methods, are demonstrated through several standard truss examples. The numerical results reveal that the proposed method is a powerful search and design optimization tool for structures with discrete-sized members, and may yield better solutions than those obtained using current methods.     

A gradient‐only line search method for the conjugate gradient method applied to constrained optimization problems with severe noise in the objective function

A new implementation of the conjugate gradient method is presented that economically overcomes the problem of severe numerical noise superimposed on an otherwise smooth underlying objective function of a constrained optimization problem. This is done by the use of a novel gradient‐only line search technique, which requires only two gradient vector evaluations per search direction and no explicit function evaluations. The use of this line search technique is not restricted to the conjugate gradient method but may be applied to any line search descent method. This method, in which the gradients may be computed by central finite differences with relatively large perturbations, allows for the effective smoothing out of any numerical noise present in the objective function. This new implementation of the conjugate gradient method, referred to as the ETOPC algorithm, is tested using a large number of well‐known test problems. For initial tests with no noise introduced in the objective functions, and with high accuracy requirements set, it is found that the proposed new conjugate gradient implementation is as robust and reliable as traditional first‐order penalty function methods. With the introduction of severe relative random noise in the objective function, the results are surprisingly good, with accuracies obtained that are more than sufficient compared to that required for engineering design optimization problems with similar noise. Copyright © 2004 John Wiley & Sons, Ltd.     

结构逆可靠度最可能失效点的改进搜索算法

确定逆可靠度最可能失效点(MPPIR)是结构逆可靠度分析的核心问题,以改进均值法(AMV)及其改进方法应用最广泛。但当功能函数非线性程度较高或为非凸非凹函数时,AMV易出现周期振荡等不收敛问题。以现有的AMV改进方法为基础,通过迭代过程中控制搜索方向和步长,提出一种MPPIR的改进搜索算法,并结合不精确一维搜索方法给出了具体的计算流程。数值算例分析表明:提出的算法与AMV相比具有更好的收敛性,与弧长搜索法相比不需要采用优化方法确定最优步长,且对于非凸非凹功能函数以及高度非线性功能函数都具有良好的收敛性。     

An efficient interior-point algorithm with new non-monotone line search filter method for nonlinear constrained programming

An efficient primal-dual interior-point algorithm using a new non-monotone line search filter method is presented for nonlinear constrained programming, which is widely applied in engineering optimization. The new non-monotone line search technique is introduced to lead to relaxed step acceptance conditions and improved convergence performance. It can also avoid the choice of the upper bound on the memory, which brings obvious disadvantages to traditional techniques. Under mild assumptions, the global convergence of the new non-monotone line search filter method is analysed, and fast local convergence is ensured by second order corrections. The proposed algorithm is applied to the classical alkylation process optimization problem and the results illustrate its effectiveness. Some comprehensive comparisons to existing methods are also presented.     

进化论自适应滤波算法及降噪特性研究

基于生物进化论策略的自适应滤波算法，利用其有性繁殖和无性繁殖的随机搜索能力实现全局最优搜索，可克服最小均方法（Least Mean Square，简称：LMS）对于多峰特性问题有可能收敛于某一局部最小值，无法实现全局最优的缺点。提出峰值系数指标PR（Peak Ratio）概念解决进化论自适应滤波器的性能评估问题，提出收敛速度CS（Converge Speed）指标和峰值系数指标PR高度的方法解决最优滤波参数的选取问题，并列进化论自适应滤波器的降噪进行模拟仿真，讨论了滤波长度和进化系数对进化论自适应算法消噪效果的影响及最优滤波参数。     

求解非线性等式约束优化问题的共轭梯度投影算法

利用投影矩阵,对求解无约束规划的共轭梯度算法中的参数βk给一限制条件确定βk的取值范围,以保证得到目标函数的共轭梯度投影下降方向,建立了求解非线性等式约束优化问题的共轭梯度投影算法,并证明了算法的收敛性。数值例子表明算法是有效的。