一个新的谱共轭梯度法

谱共轭梯度法含有两个方向调控参数,是求解无约束优化问题的一类有效方法.本文给出一对参数公式以构建新的谱共轭梯度法,该方法在精确线搜索下与标准FR方法等价,在Wolfe线搜索下具有类似标准DY方法的内在性质.我们证明了采用Wolfe线搜索的新算法在每一次迭代中均产生下降方向,并且具有全局收敛性.数值实验结果表明,新算法数值稳定、有效,适合于求解大规模无约束优化问题.     

一类Armijo搜索下的混合HS-PRP共轭梯度法?

为有效求解大规模无约束优化问题,本文基于HS方法和PRP方法,提出了一类新的混合共轭梯度法。该方法在每步迭代中都不依赖于函数的凸性和搜索条件而自行产生充分下降方向。在精确搜索下,本文算法将还原为标准的PRP方法。在适当的条件下,获证了该法在Armijo搜索下,即使求解非凸函数极小化的问题,算法也具有全局收敛性。同时,数值实验表明本文算法可以有效求解优化测试问题。     

结合广义Armijo步长搜索的一类新的共轭度算法及其收敛特征

对求解无约束规划的共轭梯度算法中共轭梯度方向中的参数给了一个假设条件。从而确定它的一个取值范围，使其在此范围内取值均能保证共轭梯度方向是目标函数的充分下降方向。提出了一类新的共轭梯度算法，在去掉迭代点列有界和广义Armijo步长搜索下讨论了算法的全局收敛性。同时给出了具有好的收敛性质和较快收敛速度的FR，PR，HS共轭梯度法的修正形式。数值例子表明新算法比Armijo搜索下的FR，PR，HS共轭梯算法更稳定更有效。算法需要较小的存储。特别适于求解大规模无约束最优化问题。     

一类新的基于信赖域技术的非单调共轭梯度算法

为有效求解大规模无约束优化问题,本文基于信赖域技术和修正拟牛顿方程,同时结合Zhang H. C.策略和Gu N. Z.策略,设计了一种新的非单调共轭梯度算法,应用信赖域技术保证了算法的稳健性和收敛性,并给出了算法的全局收敛性分析．在适当条件下,证明了该算法具有线性收敛性．数值实验表明新算法能够有效求解病态和大规模问题．与单独结合其中一种非单调策略的算法相比,新算法需要较少的迭代次数和运行时间,利用其得到的函数值与最优值更接近．     

求解大规模优化的混合共轭梯度法

为了有效求解大规模无约束优化问题,在PRP方法和FR方法的基础上,给出了满足共轭条件的新的混合共轭梯度法.在强Wolfe线性搜索下,证明了此算法的全局收敛性.在特定条件下,新公式与HS公式一致,因此可看作是对HS方法的修正.对7个经典无约束优化问题的数值实验结果表明,所提出的新方法数值稳定.相比已有方法,随着问题规模的增大,所提方法在迭代次数,优化精度及梯度调用次数方面表现出明显优势.     

Wolfe线搜索下一个新的全局收敛共轭梯度法

共轭梯度法是求解大规模无约束优化问题的有效方法之一,其研究十分活跃.本文给出了一个新的共轭梯度法公式,新公式在精确线搜索下与DY公式等价.基于新公式,采用Wolfe非精确线搜索确定步长,本文设计了一个新的共轭梯度算法,并证明了新算法的下降性和全局收敛性.数值试验结果表明所设计新算法是有效的.     

一类修正Zhang H.C.非单调共轭梯度算法

为有效求解大规模无约束优化问题,本文基于RMFI共轭梯度法,结合Zhang H.C.非单调线搜索步长规则,提出了一类新的共轭梯度算法.在适当的条件下,证明了新算法的全局收敛性.数值算例表明,新算法比Zhang H.C.非单调规则下的标准RMFI方法收敛速度更快,更有效.同时,本文进一步研究了Zhang H.C.非单调线搜索步长规则的一个基于强迫函数的拓展模型,并从理论上证明了基于此拓展模型的新算法的全局收敛性.     

一个充分下降的修正 PRP 型谱共轭梯度法

谱共轭梯度法是共轭梯度法的一种重要延拓,可以通过共轭参数和谱参数二维度调整,使得所设计算法的搜索方向满足某一预设条件,比如充分下降条件或共轭条件等。谱参数和共轭参数的设计是谱共轭梯度法的两大核心工作,决定方法的收敛性和数值效果。基于 PRP 方法,构造了一个修正的 PRP 型共轭参数,该共轭参数不仅保持了 PRP 公式的结构和性能,而且具有 FR 方法的收敛性质。利用充分下降条件取定一个谱参数,与修正的 PRP 型共轭参数结合,建立一个新的谱共轭梯度算法。该算法不依赖于任何线搜索就可以满足充分下降条件。常规假设条件下,采用强 Wolfe 线搜索准则产生步长,证明了新算法的全局敛性。通过 100 个算例对该算法进行数值测试并与其他五个算法进行比较,同时采用性能图对数值结果进行直观展示,结果表明该算法是有效的。     

Armijo型线搜索下一种共轭梯度法的收敛性

对无约束非线性规划问题,本文分别在两种不同的Armijo型线搜索下证明了Liu-Storey共轭梯度法的所有搜索方向都是充分下降的,并进一步证明了该算法是全局强收敛的。对另一种放松了函数值下降条件可以获得更大步长的Armijo型线搜索,本文还证明了该算法是全局强收敛的。     

一类新的记忆梯度法及其收敛性

本文着重研究求解无约束优化问题的记忆梯度法,利用当前和前面一步迭代点的信息产生下降方向,采用Armijo线性搜索确定步长,得到了一类新的无约束优化算法。新算法在较弱的条件下具有全局收敛性和线性收敛速率,并且不用计算和存储矩阵,适于求解大规模优化问题。数值试验表明算法是有效的。     

结合广义Armijo步长搜索的一类记忆梯度算法及其收敛特征

本文对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.并在去掉迭代点列有界和广义Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式,数值实验表明,新算法比Armijo线搜索下的FR,PR,HS共轭梯度法和超记忆梯度法更稳定、更有效.     

动态信息调整且速度可控的改进型合作粒子群算法

针对粒子群算法中因多样性丧失引致的早熟收敛问题,提出了一种动态信息调整且速度可控的改进型合作粒子群算法.该算法通过子群划分,在粒子自身最好值、全局粒子最好值基础上,增加了子群粒子最好值对粒子飞行状态的控制作用,并利用当前寻优次数,动态调整各最好值对粒子下一次状态确定的贡献率,实现三种参考信息的有效融合,从而具有更强的寻优能力;通过子群数的调整,研究实现收敛速度控制的可能性与可行性,在保证算法搜索精度的同时,使其具有更为合适的收敛速度.最后,利用仿真实验对理论分析结果进行验证,结果表明,相对于其他PSO类算法,本算法具有更好的收敛精度,且收敛速度可控.     

在Armijo型线搜索下共轭下降法的收敛性

我们提出了两种Armijo型线搜索,进而证明了这两种Armijo型线搜索可保证共轭下降法的下降搜索方向的充分下降性。并在这两种Armijo型线搜索下得到共轭下降法的收敛性结果。     

一个新的带误差项的记忆梯度算法

对无约束规划问题,本文提出了结合Armijo步长搜索规则的一类带误差项的记忆梯度求解算法,并在目标函数的梯度一致连续的条件下,证明了算法的全局收敛性。同时给出带误差项的结合拟-Newton方程的记忆梯度算法。数值例子表明算法是有效的。     

求解非线性等式约束优化问题的共轭梯度投影算法

利用投影矩阵,对求解无约束规划的共轭梯度算法中的参数βk给一限制条件确定βk的取值范围,以保证得到目标函数的共轭梯度投影下降方向,建立了求解非线性等式约束优化问题的共轭梯度投影算法,并证明了算法的收敛性。数值例子表明算法是有效的。     

基于HUBER函数的序列图像位移场估计算法

提出了一种基于Huber函数的序列图像位移场估计算法，与光流法不同的是，它能直接计算位移场，还能在一定程度上减轻对于变化剧烈的“运动边界”过渡平滑的问题，该算法采用共轭梯度法优化能量方程，并利用小波分解进行分级计算，能快速可靠地得到稳定的位移场，实验表明，对有较大弹性形变的图像，与块匹配法相比，该算法得到的平均匹配残差明显减少。     

共轭梯度法的全局收敛性

探讨了在强Wolfe搜索规则下，与βk^PR相关的算法的收敛性，在不需要假设目标函数为凸的情况下，证明了充分下降及算法的全局收敛性。     

R-线性收敛的重要样本抽样随机梯度下降算法

针对机器学习中一类有限光滑凸函数和的最小化问题，提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合，从而可以充分发挥两种方法的优势。另外，初始步长可以任意选取，且步长在算法运行中可以自适应地计算更新。此外，新算法使用了重要样本抽样方法，可以大大减少计算工作量。最后，在通常的假设条件下证明了新算法具有R-线性收敛速度，并给出了复杂度分析。数值实验验证了新算法是可行有效的。     

约束优化一个结合积极集识别的强收敛模松弛SQP算法(英文)

本文考虑了非线性不等式约束优化问题的求解问题,并结合模松弛SQP方法、强次可行方向法和积极集识别技术,提出了一个SQP算法.该算法在每一次迭代中,模松弛QP子问题的约束函数个数只决定于相应的识别集.不引进罚参数线搜索便可将阶段I(初始化)和阶段II(最优化)统一起来.在MFCQ条件下,得到算法的全局收敛性,若满足二阶充分条件,则算法具有强收敛性,且识别集能精确识别积极约束集.最后,我们给出了初步的数值结果.     

一种高效的图像去噪算法

针对图像去噪的速度以及可能出现的阶梯效应等问题进行了研究,提出了一种高效的图像去噪算法.该算法在贝叶斯框架下,首先引入调和模型作为原始图像的先验模型,并用伽马分布作为未知参数的先验分布模型;然后,用变分近似的方法推导最大后验概率;基于此推导过程,同步地估计原始图像和未知参数的最优值,实现图像去噪.实验结果证明了该算法的高效性,通过与其它算法的比较,该算法体现了速度快、效果好的优点,且去噪后的图像不会出现阶梯效应等问题.