工程优化中最速下降法的加速技巧

利用向量ε－算法对工程优化中的最速下降法作了改进，使其收敛速度由原来的一阶提高到二阶，同时保留了原方法结构简单、计算量少等优点．数值计算结果表明，改进后的最速下降法的确是一种有效的计算方法．     

改进的最速下降法—最好点最速下降法

提出了用最速下降法解无约束多变量最优问题时，存在一些特殊点，本文称为最好点，这些最好点的负梯度方向总是直指目标函数的中心，即最优点，因此通过最好点一次迭代就能得到最优点，阐述了如何搜索得到最好的计算过程和计算程序，这个改进的最速下降法－最好点最速下降法既保持了最速下降法的优点，又消除了其锯齿现象，提高了计算速度。     

改进的最速下降法─最好点最速下降法

提出了用最速下降法解无约束多变量最优问题时，存在一些特殊点，本文称为最好点，这些最好点的负梯度方向总是直指目标函数的中心，即最优点．因此通过最好点一次迭代就能得到最优点．阐述了如何搜索得到最好的计算过程和计算程序．这个改进的最速下降法－最好点最速下降法既保持了最速下降法的优点，又消除了其锯齿现象，提高了计算速度．     

基于最速下降法改进的人工蜂群算法

针对基本人工蜂群算法求解优化问题时存在收敛精度低、搜索盲目性大的缺点,提出一种基于最速下降法改进的人工蜂群算法.算法利用最速下降法简单、计算量小的特点,对基本人工蜂群算法中经过limit次更新后没有得到改善的蜜源进行更新,它结合了基本人工蜂群算法较强的全局搜索能力和最速下降法快速精确的局部搜索能力,能够有效避免基本人工蜂群算法中的某些盲目的无意义迭代.经过9个标准测试问题的仿真试验表明,所得的人工蜂群算法具有比基本人工蜂群算法更快的收敛速度和更高的求解精度.     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛,混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题。同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例。     

理想化最速下降法及其逼近实例

已证明,当最速下降法的步长为系数矩阵特征值的倒数时,任意非奇异矩阵都可以在m步内收敛到精确解,这里m为系数矩阵最小多项式的次数。这是一种理想化的最速下降法。由于特征值的计算并不容易,因此只能用其近似估算值代替。分析了近似特征值获取方法并研究了其误差对迭代的影响,从而给出了逼近理想化的最速下降法的一般方法。作为一个例子,给出了一种高效的自适应循环最速下降法:每当求出最优步长h后,将算法变成定步长最速下降法并用该步长重复M步,当目标函数或梯度模反而变大时则放弃重复。这里,M可根据经验预先确定。该算法保证了目标函数值的单调下降性质。将上述结果推广至一般函数的无约束最优化,并对一些典型测试函数的计算表明:该算法的收敛速度优于共轭方法和变尺度法,内存需求则与共轭方法相当。     

Newton-PCG算法的数值性态

理论上，Newton-PCG算法适于求解大规模无约束优化问题．并且牛顿-预优最速下降法优于Newton-PCG算法。在实际应用中，Newton-PCG算法是否有效需经过大量数值试验验证。通过数值试验得出：在维数相同的情况下，Newton-PCG算法比牛顿-预优最速下降法求解时间短：表明Newton-PCG算法优于牛顿-预优最速下降法，比率与问题的维数并无太大关系。     

一种简化的模糊神经网络优化学习算法

提出一种用最速下降-单纯形法,先优化确定FNN的结构和参数．然后在优化确定的网络基础上用最速下降法再进一步学习的简化的优化学习算法．该算法学习效率高,泛化能力好．仿真结果证实了算法的有效性．     

一种求解函数优化的混合遗传算法

在浮点编码遗传算法中加入最速下降法，构成适于函数全局优化的混合遗传算法。混合算法改善了遗传算法的局部搜索能力，显著提高了遗传算法求得全局解的概率。由于只利用函数值信息，混合算法是一种求解函数全局优化问题的通用方法。     

基于Lagrange乘子法的一种新型改进粒子群优化算法

社会和生产实践中抽象出来的模型一般为非线性约束优化,而约束优化一般很难直接求解.首先,我们通过引进增广lagrange乘子法,将约束优化转化为有界约束优化,然后引入粒子群优化算法来进行求解,并且我们提出来一种嵌入了最速下降法的改进粒子群优化算法,以此来解决标准粒子群算法中收敛速度慢和精度低的问题,提高了搜索的效率,特别是局部搜索的效率.改进算法有效地结合了粒子群优化算法比较强的全局搜索能力和最速下降法的精细快速的局部搜索能力,相比于标准粒子群优化算法,克服了收敛速度慢的特点.数值实验表明,通过改进的粒子群优化算法可以找到所求优化问题的全局最优解.     

求解有约束非线性规划的混合混沌算法

针对带有约束的非线性规划问题,提出了一种新的算法.首先把有约束的非线性规划转化为含有2个目标的无约束的优化问题,然后利用混沌优化算法和最速下降法来混合求解.数值计算结果显示,该算法是可行有效的.     

提高前馈神经网络学习效率的学习算法探讨

简要分析了最速下降法（Ｓｔｅｅｐｅｓｔ Ｄｅｓｃｅｎｔ Ａｌｇｏｒｉｔｈｍ ,即ＳＤＡ 法）和正交校正共轭梯度法（ＣＧＭ－ＯＣ法）的优缺点,提出了一种进行多层前馈神经网络学习的新算法,即ＳＤ－ＣＧＭ－ＯＣ算法．该算法结合最速下降法与正交校正共轭梯度法的特点,在文中所述实际问题构造模型的基础上,论证了ＳＤ－ＣＧＭ－ＯＣ算法比传统的ＢＰ算法具有更高的学习效率和二次收敛率．实验结果验证了该学习算法的有效性．     

无约束多变量问题最优化方法--最佳方向法

根据最速下降法,提出了无约束多变量问题新的最优化方法－－最佳方向法。所为最佳方向法指的是从初始点出发,确定某一搜索方向,沿着这个方向直接找到极值点。本文阐述了此方法的基本原理、计算过程和计算框图。此方法既保持了最速下降法的优点,又消除了其锯齿现象,有效提高了计算速度,与其它有关的这一类算法相比,最佳方向法也显示出计算简单、占用计算机内存窨少和收敛速度快的优点。     

多模盲均衡算法的一种最速下降优化实现方法

盲均衡算法的传统实现方式大都基于随机梯度下降法,随机梯度法实现简单的代价是较慢的收敛速度和较大的稳态误差.文章基于实用性的考虑,采用批数据处理方式,给出了多模盲均衡算法的一种最速下降实现方法,该方法在每次迭代过程中不需要产生均衡器输出,而是直接利用接收数据的统计量和当前均衡器系数来估计代价函数的最速下降方向,具有收敛速度快,稳态误差小的特点;可以实现流水线式的实时处理,适合包长固定或可变的信号传输场合.     

基于DSA和FEM的电器绝缘结构自动优化设计

在二维静电场有限元分析的基础上,推导了基于最速下降法的设计变量灵敏度公式和伴随变量公式．基于现有的Delaunay三角剖分技术,采用Swapping Algorithm更新有限元网格．最后将有限元方法、基于最速下降法的灵敏度计算及网格更新算法有效结合,用于110kV GIS用光纤电流互感器绝缘结构的自动优化设计．结果表明,该方法非常有效．     

无约束优化问题的最速下降方向的步长计算

一般地,无约束优化问题的最速下降为方向的步长计算由近似估计得到。本文给出了一种计算步长的方法,此方法的优点为：若在此下降方向上解存在,那么新方法以较少的计算量确定解的存在区间（基于０．６１８法）及在局部计算时,用约２／３的一维差分Ｎｅｗｔｏｎ法的计算量求得在下降方向上误差精度充分同的近似解（基于二次多基逼近法）。     

基于新的步长搜索下的记忆梯度法收敛性分析

根据最速下降算法、拟牛顿法、FR共轭梯度法、PRP共轭梯度法等,求解大规模无约束优化问题的有效算法、精确线搜索与Wolfe线搜索等的搜索条件,着重对计算更为有效的适合求解无约束优化问题的记忆梯度算法进行研究。基于Wolfe非精确线搜索提出一种新的步长搜索方法,对记忆梯度算法进行改进。最后证明改进的算法在较弱的条件下是全局收敛的。     

Newton法与共轭梯度法的组合方法

本文在Newton法与最速下降法的组合方法的基础上提出了Newton法与共轭梯度法的组合方法,并证明了该方法的全局收敛性。该方法能有效地应用于目标函数的Hessian矩阵不正定或病态等实际问题。计算H_K的过程简化,大大减少了算法的计算量。     

无约束优化问题的最速下降方向的步长计算

一般地, 无约束优化问题的最速下降方向的步长计算由近似估计得到。本文给出一种计算步长的方法, 此方法的优点为： 若在此下降方向上解存在, 那么新方法以较少的计算量确定解的存在区间（ 基于０－６１８ 法） ; 及在局部计算时, 用约２／３ 的一维差分Ｎｅｗｔｏｎ 法的计算量求得在下降方向上误差精度充分高的近似解（ 基于二次多项式逼近法） 。     

电离层层析成像的一种改进算法

针对电离层层析成像算法中合理选择迭代初始值的问题,提出了一种联合使用乘法代数重建算法和最速下降法的改进算法,将迭代初始值的确定与图像优化重建过程进行统一,克服了乘法代数重建算法对迭代初始值的敏感,初始值的选取较为合理.数值模拟反演结果表明,相对于乘法代数重建算法,该算法有效地提高了电离层层析成像质量.