一个新的谱共轭梯度法

谱共轭梯度法含有两个方向调控参数,是求解无约束优化问题的一类有效方法.本文给出一对参数公式以构建新的谱共轭梯度法,该方法在精确线搜索下与标准FR方法等价,在Wolfe线搜索下具有类似标准DY方法的内在性质.我们证明了采用Wolfe线搜索的新算法在每一次迭代中均产生下降方向,并且具有全局收敛性.数值实验结果表明,新算法数值稳定、有效,适合于求解大规模无约束优化问题.     

结合广义Armijo步长搜索的一类记忆梯度算法及其收敛特征

本文对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.并在去掉迭代点列有界和广义Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式,数值实验表明,新算法比Armijo线搜索下的FR,PR,HS共轭梯度法和超记忆梯度法更稳定、更有效.     

一类Armijo搜索下的混合HS-PRP共轭梯度法?

为有效求解大规模无约束优化问题,本文基于HS方法和PRP方法,提出了一类新的混合共轭梯度法。该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向。在精确搜索下,本文算法将还原为标准的PRP方法。在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性。同时,数值实验表明本文算法可以有效求解优化测试问题。     

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。     

Wolfe线搜索下一个新的全局收敛共轭梯度法

共轭梯度法是求解大规模无约束优化问题的有效方法之一,其研究十分活跃.本文给出了一个新的共轭梯度法公式,新公式在精确线搜索下与DY公式等价.基于新公式,采用Wolfe非精确线搜索确定步长,本文设计了一个新的共轭梯度算法,并证明了新算法的下降性和全局收敛性.数值试验结果表明所设计新算法是有效的.     

求解大规模优化的混合共轭梯度法

为了有效求解大规模无约束优化问题,在PRP方法和FR方法的基础上,给出了满足共轭条件的新的混合共轭梯度法.在强Wolfe线性搜索下,证明了此算法的全局收敛性.在特定条件下,新公式与HS公式一致,因此可看作是对HS方法的修正.对7个经典无约束优化问题的数值实验结果表明,所提出的新方法数值稳定.相比已有方法,随着问题规模的增大,所提方法在迭代次数,优化精度及梯度调用次数方面表现出明显优势.     

结合广义Armijo步长搜索的一类新的共轭度算法及其收敛特征

对求解无约束规划的共轭梯度算法中共轭梯度方向中的参数给了一个假设条件。从而确定它的一个取值范围，使其在此范围内取值均能保证共轭梯度方向是目标函数的充分下降方向。提出了一类新的共轭梯度算法，在去掉迭代点列有界和广义Armijo步长搜索下讨论了算法的全局收敛性。同时给出了具有好的收敛性质和较快收敛速度的FR，PR，HS共轭梯度法的修正形式。数值例子表明新算法比Armijo搜索下的FR，PR，HS共轭梯算法更稳定更有效。算法需要较小的存储。特别适于求解大规模无约束最优化问题。     

一个修正的谱共轭梯度法

对无约束优化问题进行了研究，提出了一个修正的谱共轭梯度法。该算法的搜索方向是下降方向，在标准的Wolfe-Powell线搜索下具有全局收敛性，且在适当的条件下，证明了该算法具有线性收敛率。对一些标准的测试函数进行了数值实验，数值实验结果表明所提算法在算法迭代次数，函数调用次数以及程序运行时间等方面是有效的，且与相关算法相比有一定的优势。最后将该算法应用到图像去噪问题，对经典图像Lena与Camera施加了不同的噪声效果并用该算法进行图像去噪，与文献中相关算法进行了对比，通过信噪比这一指标说明该算法有良好的去噪效果。     

在Armijo型线搜索下共轭下降法的收敛性

我们提出了两种Armijo型线搜索,进而证明了这两种Armijo型线搜索可保证共轭下降法的下降搜索方向的充分下降性。并在这两种Armijo型线搜索下得到共轭下降法的收敛性结果。     

一类修正Zhang H.C.非单调共轭梯度算法

为有效求解大规模无约束优化问题,本文基于RMFI共轭梯度法,结合Zhang H.C.非单调线搜索步长规则,提出了一类新的共轭梯度算法.在适当的条件下,证明了新算法的全局收敛性.数值算例表明,新算法比Zhang H.C.非单调规则下的标准RMFI方法收敛速度更快,更有效.同时,本文进一步研究了Zhang H.C.非单调线搜索步长规则的一个基于强迫函数的拓展模型,并从理论上证明了基于此拓展模型的新算法的全局收敛性.     

A gradient‐only line search method for the conjugate gradient method applied to constrained optimization problems with severe noise in the objective function

A new implementation of the conjugate gradient method is presented that economically overcomes the problem of severe numerical noise superimposed on an otherwise smooth underlying objective function of a constrained optimization problem. This is done by the use of a novel gradient‐only line search technique, which requires only two gradient vector evaluations per search direction and no explicit function evaluations. The use of this line search technique is not restricted to the conjugate gradient method but may be applied to any line search descent method. This method, in which the gradients may be computed by central finite differences with relatively large perturbations, allows for the effective smoothing out of any numerical noise present in the objective function. This new implementation of the conjugate gradient method, referred to as the ETOPC algorithm, is tested using a large number of well‐known test problems. For initial tests with no noise introduced in the objective functions, and with high accuracy requirements set, it is found that the proposed new conjugate gradient implementation is as robust and reliable as traditional first‐order penalty function methods. With the introduction of severe relative random noise in the objective function, the results are surprisingly good, with accuracies obtained that are more than sufficient compared to that required for engineering design optimization problems with similar noise. Copyright © 2004 John Wiley & Sons, Ltd.     

共轭梯度法的全局收敛性

探讨了在强Wolfe搜索规则下，与βk^PR相关的算法的收敛性，在不需要假设目标函数为凸的情况下，证明了充分下降及算法的全局收敛性。     

包含共轭下降法的一类无约束优化方法的全局收敛性

共轭下降法是由Fletcher(1987)提出的一个共轭梯度法，提出了包含共轭下降法的一类无约束优化方法，并采用Dai Yuhong和Yuan Yaxinag(1996)建立的一个非精确经搜索模型，给出了保证这类方法具有下降性和全局收敛性的搜索条件，文中得到的有关共轭下降法的收敛条件与Dai Yuhong和Yuan Yaxiang(1996)给出的收敛条件一致。     

求解非线性等式约束优化问题的共轭梯度投影算法

利用投影矩阵,对求解无约束规划的共轭梯度算法中的参数βk给一限制条件确定βk的取值范围,以保证得到目标函数的共轭梯度投影下降方向,建立了求解非线性等式约束优化问题的共轭梯度投影算法,并证明了算法的收敛性。数值例子表明算法是有效的。     

A New Optimal Iterative Algorithm for Solving Nonlinear Poisson Problems in Heat Diffusion

The nonlinear Poisson problems in heat diffusion governed by elliptic type partial differential equations are solved by a modified globally optimal iterative algorithm (MGOIA). The MGOIA is a purely iterative method for searching the solution vector x without using the invert of the Jacobian matrix D. Moreover, we reveal the weighting parameter αc in the best descent vector w = αcE + DTE and derive the convergence rate and find a criterion of the parameter γ. When utilizing αc and γ, we can further accelerate the convergence speed several times. Several numerical experiments are carefully discussed and validated the proposed method.     

A Modified Three-Term Conjugate Gradient Algorithm for Large-Scale Nonsmooth Convex Optimization

It is well known that Newton and quasi-Newton algorithms are effective to small and medium scale smooth problems because they take full use of corresponding gradient function’s information but fail to solve nonsmooth problems. The perfect algorithm stems from concept of ‘bundle’ successfully addresses both smooth and nonsmooth complex problems, but it is regrettable that it is merely effective to small and medium optimization models since it needs to store and update relevant information of parameter’s bundle. The conjugate gradient algorithm is effective both large-scale smooth and nonsmooth optimization model since its simplicity that utilizes objective function’s information and the technique of Moreau-Yosida regularization. Thus, a modified three-term conjugate gradient algorithm was proposed, and it has a sufficiently descent property and a trust region character. At the same time, it possesses the global convergence under mild assumptions and numerical test proves it is efficient than similar optimization algorithms.     

复线性方程组的预处理MCG算法

复线性方程组在科学与工程计算的诸多领域中有着重要的应用价值,如何高效的求解复线性方程组,一直是人们所关心的问题．目前对于复线性方程组,常用的处理方式有以下两种：一种是直接对方程组迭代求解,另外一种是将其转化为实线性方程组后进行求解．本文主要从两种处理方式讨论了共轭梯度法（CG法）,并理论上证明了两种处理方式下的CG法具有相同的收敛性．之后基于变形共轭梯度法（MCG法）收敛速度的本质与CG法类似,只需将MCG法推广到复线性方程组进行研究,并且为了提高MCG法的收敛速度,提出了一种预处理MCG法．最后,通过数值算例验证了算法与理论分析的一致性,以及预处理算法的有效性．     

A spectral conjugate gradient method for nonlinear inverse problems

In this study, a new spectral conjugate gradient method is presented to solve nonlinear inverse problems, which transferred into the unconstrained nonlinear optimization with a neighbour term. The global convergence and regularizing properties of the proposed method are analysed. In the end, some numerical results illustrate the efficiency and the robustness of this method.