An Inexact Halley＇s Method

An inexact Halley＇s method-Halley-PCG（preconditioned conjugate gradient） method is proposed for solving the systems of linear equations for improved Halley method either by Cholesky factorization exactly or by preconditioned conjugate gradient method approximately. The convergence result is given and the efficiency of the method compared to the improved Halley＇s method is shown.     

无约束优化的一种改进的梯度法

本文提出了一种改进的梯度寻化方法,它能克服普通梯度法在初始寻优阶段以后的寻优过程变得缓慢的缺点.     

一类推广的共轭梯度法及其全局收敛性

共轭梯度法是求解非线性优化问题的一种重要方法.通过对共轭梯度法及其全局收敛性的分析,提出一个新的非线性共轭梯度公式,采用该公式和Wolfe非精确线搜索的方法是全局收敛的.文末的数值实验验证了算法是有效的.     

改进的共轭梯度法及其收敛性

共轭梯度法是求解大规模无约束优化问题的一种有效方法。针对算法的优劣主要依赖于步长因子和搜索方向的特点，结合共轭梯度法的共轭性质，提出一种改进的可以控制步长因子的共轭梯度算法。在建立算法的几个重要引理和全局收敛性定理后分别给出了证明。最后对算法进行了数值实验，实验结果表明算法具有良好的收敛性和有效性。     

Sylvester方程AXB+CXD=E的共轭梯度法

对Sylvester方程AXB+CXD=E提出了一种共轭梯度算法及2种预处理算法,讨论了算法的性质。数值试验表明,共轭梯度法适合解决大规模问题,预处理方法能有效地减少迭代次数。     

Wolfe线搜索下一类新的共轭梯度法

共轭梯度法是一类解决无约束优化问题的有效方法,尤其适用于大规模优化问题的求解。提出一族包含DY方法的新的共轭梯度法,并证明了该算法在Wolfe线搜索条件下具有全局收敛性,数值结果表明该算法是有效的。     

一种新共轭梯度法的全局收敛性

对求解无约束最优化问题的共轭梯度法进行了研究，提出了计算βk的一种新的公式，并对标准Wolfe搜索条件进行了推广，得到一种新的共轭梯度法。在一定条件下证明了该算法的全局收敛性，同时给出了一些数值例子，得到很好的数值结果。     

一种新共轭梯度法的全局收敛性

对求解无约束最优化问题的共轭梯度法进行了研究,提出了计算βk的一种新的公式,并对标准Wolfe搜索条件进行了推广,得到一种新的共轭梯度法.在一定条件下证明了该算法的全局收敛性,同时给出了一些数值例子,得到很好的数值结果.     

Subspace Minimization Conjugate Gradient Method Based on CubicRegularization Model for Unconstrained Optimization

基于三次正则模型的子空间极小化共轭梯度法

赵婷 ,刘红卫

（西安电子科技大学 数学与统计学院, 西安 710126）

共轭梯度法是求解无约束优化问题的一类主要方法,伴随着越来越多大规模问题的出现,子空间技术变得尤为重要,并且这种技术被广泛应用于最优化领域,本文通过在子空间上极小化当前迭代点处的三次正则化近似模型或者目标函数的二次近似模型来求解迭代方向,其中在三次正则模型中运用一种特殊的范数,结合非单调线搜索策略提出一个基于三次正则模型的子空间极小化共轭梯度算法。在一定条件下,证明搜索方向的两个重要性质,并给出算法的收敛性证明。数值结果表明本文所提算法具有良好的数值性能。

关键词：三次正则模型;共轭梯度法;子空间技术;无约束优化

     

改进的共轭梯度法及其收敛性

共轭梯度法是求解大规模无约束优化问题的一种有效方法。针对算法的优劣主要依赖于步长 因子和搜索方向的特点,结合共轭梯度法的共轭性质,提出一种改进的可以控制步长因子的共轭梯度算 法。在建立算法的几个重要引理和全局收敛性定理后分别给出了证明。最后对算法进行了数值实验,实 验结果表明算法具有良好的收敛性和有效性。     

Armijo搜索下的谱共轭梯度法

基于Hager-Zhang提出的共轭梯度法,构造了一种新的谱风,证明了该方法不依赖于任何线搜索就具有充分下降性,并且在Armijo搜索下证明了算法的全局收敛性。数值试验表明,该方法明显优于谱DY、谱FR、谱PRP算法。     

基于Armijo型线搜索下的谱共轭梯度法

在WYL共轭梯度法的基础上,提出了一种新的谱共轭梯度法,并且证明了该方法在Armijo线搜索下具有充分下降性和全局收敛性.数值试验表明该方法是有效的。     

一种新共轭梯度法的理论研究和数值试验

共轭梯度法被广泛应用于求解无约束条件的最优化问题,尤其是一些大型最优化问题。近年来,很多学者在诸如FR,PRP,HS等经典方法的基础上,进行加工和改进,以提高共轭梯度法数值计算的效果。例如,基于Dai和Liao等人提出的一种新拟牛顿方程,Li,Tang和Wei构造出新的共轭条件,从而提出了一种新的共轭梯度法。这种方法既具有收敛性又得到更好的计算结果。另一方面,Hager和H Zhang也构造了一种新的单参数共轭梯度法。本文在这些方法的基础之上,给出了一种新共轭梯度法的计算公式,并在强凸条件下证明了其全局收敛性。此外,其数值计算的结果也是令人满意的。     

Wolfe搜索下广义共轭梯度法及其全局收敛性

指出了文献[10]中两类共轭梯度法的错误证明,提出了Wolfe搜索下一类以DY公式为上界的广义共轭梯度法,该算法在每一步不依赖于任何搜索自行产生充分下降方向,在适当的条件下证明了算法的全局收敛性.     

修正Armijo线搜索下共轭梯度法的收敛性

为解决传统线搜索下没有全局收敛性,提出修正Armijo线搜索下共轭梯度法。通过估计目标函数导数的Lipschitz常数,能在每一步迭代中找到合适的步长,以保证全局收敛性,提高实际运算中的有效性。     

一类非线性共轭梯度法的全局收敛性

研究求解无约束最优化问题的共轭梯度法,提出了一种新的共轭梯度类型公式,从而影响了算法产生的搜索方向,进一步影响了算法的效果,得到一类新共轭梯度法,证明了在Grippo-Lucidi线搜索下新共轭梯度法的全局收敛性.     

基于信赖域子问题的共轭梯度法

对于求解无约束优化问题,利用重新开始的三项共轭梯度法与信赖域方法结合,并引入非单调技术,当迭代不成功时,改进后的算法保留一些有用信息,提高了算法的有效性。在适当的条件下,给出了新算法的全局收敛性,数值试验结果表明新算法是有效的。     

修正HS共轭梯度法的全局收敛性

针对PRP方法对一般的非凸函数在强Wolfe线性搜索条件下不收敛这一不足,给出了一种新的共轭梯度算法.在强Wolfe线性搜索下,所给公式满足充分下降条件,并在适当条件下证明了算法的全局收敛性.     

一个新线搜索下DY共轭梯度法的收敛性

对无约束优化问题,传统的Wolfe线搜索需要限制参数σ≤1/2,它对保证一些共轭梯度法的收敛性是不可以改进的.广义的Wolfe线搜索也需要一些特殊的取法,才能保证一些算法的收敛性.因此,针对这一限制,把参数的范围扩展至0<σ<1,而且对广义的Wolfe线搜索进行修改.然后证明了在这种新的线搜索条件下,DY共轭梯度法在扩大的参数O<σ<1下的全局收敛性.     

一种无约束优化问题的谱共轭梯度法

提出了一种新的谱共轭梯度法,证明了该方法不依赖于任何线搜索具有充分下降性,在Armijo线搜索下证明了算法具有全局收敛性。数值试验结果表明：在Armijo线搜索下,该方法比Necu-lai,Andrei提出的方法有效;并且4种测试函数的数值结果显示：新方法明显优于谱DY算法,也较谱FR算法有效;可以和谱PRP的计算效能相媲美,故算法具有良好的计算效能。