改进的最速下降法—最好点最速下降法

提出了用最速下降法解无约束多变量最优问题时，存在一些特殊点，本文称为最好点，这些最好点的负梯度方向总是直指目标函数的中心，即最优点，因此通过最好点一次迭代就能得到最优点，阐述了如何搜索得到最好的计算过程和计算程序，这个改进的最速下降法－最好点最速下降法既保持了最速下降法的优点，又消除了其锯齿现象，提高了计算速度。     

改进的最速下降法─最好点最速下降法

提出了用最速下降法解无约束多变量最优问题时，存在一些特殊点，本文称为最好点，这些最好点的负梯度方向总是直指目标函数的中心，即最优点．因此通过最好点一次迭代就能得到最优点．阐述了如何搜索得到最好的计算过程和计算程序．这个改进的最速下降法－最好点最速下降法既保持了最速下降法的优点，又消除了其锯齿现象，提高了计算速度．     

无约束优化问题的最速下降方向的步长计算

一般地, 无约束优化问题的最速下降方向的步长计算由近似估计得到。本文给出一种计算步长的方法, 此方法的优点为： 若在此下降方向上解存在, 那么新方法以较少的计算量确定解的存在区间（ 基于０－６１８ 法） ; 及在局部计算时, 用约２／３ 的一维差分Ｎｅｗｔｏｎ 法的计算量求得在下降方向上误差精度充分高的近似解（ 基于二次多项式逼近法） 。     

工程优化中最速下降法的加速技巧

利用向量ε－算法对工程优化中的最速下降法作了改进，使其收敛速度由原来的一阶提高到二阶，同时保留了原方法结构简单、计算量少等优点．数值计算结果表明，改进后的最速下降法的确是一种有效的计算方法．     

工程优化中最速下降法的加速技巧

利用向量ε－算法对工程优化中的最速下降法作了改进，使其收敛速度由原来的一阶提高到二阶，同时保留了原方法结构简单，计算量少等优点，数值计算结果表明，改进后的最速下降法的确是一种有效的计算方法。     

无约束优化问题的最速下降方向的步长计算

一般地,无约束优化问题的最速下降为方向的步长计算由近似估计得到。本文给出了一种计算步长的方法,此方法的优点为：若在此下降方向上解存在,那么新方法以较少的计算量确定解的存在区间（基于０．６１８法）及在局部计算时,用约２／３的一维差分Ｎｅｗｔｏｎ法的计算量求得在下降方向上误差精度充分同的近似解（基于二次多基逼近法）。     

理想化最速下降法及其逼近实例

已证明,当最速下降法的步长为系数矩阵特征值的倒数时,任意非奇异矩阵都可以在m步内收敛到精确解,这里m为系数矩阵最小多项式的次数。这是一种理想化的最速下降法。由于特征值的计算并不容易,因此只能用其近似估算值代替。分析了近似特征值获取方法并研究了其误差对迭代的影响,从而给出了逼近理想化的最速下降法的一般方法。作为一个例子,给出了一种高效的自适应循环最速下降法:每当求出最优步长h后,将算法变成定步长最速下降法并用该步长重复M步,当目标函数或梯度模反而变大时则放弃重复。这里,M可根据经验预先确定。该算法保证了目标函数值的单调下降性质。将上述结果推广至一般函数的无约束最优化,并对一些典型测试函数的计算表明:该算法的收敛速度优于共轭方法和变尺度法,内存需求则与共轭方法相当。     

基于DSA和FEM的电器绝缘结构自动优化设计

在二维静电场有限元分析的基础上,推导了基于最速下降法的设计变量灵敏度公式和伴随变量公式．基于现有的Delaunay三角剖分技术,采用Swapping Algorithm更新有限元网格．最后将有限元方法、基于最速下降法的灵敏度计算及网格更新算法有效结合,用于110kV GIS用光纤电流互感器绝缘结构的自动优化设计．结果表明,该方法非常有效．     

提高前馈神经网络学习效率的学习算法探讨

简要分析了最速下降法（Ｓｔｅｅｐｅｓｔ Ｄｅｓｃｅｎｔ Ａｌｇｏｒｉｔｈｍ ,即ＳＤＡ 法）和正交校正共轭梯度法（ＣＧＭ－ＯＣ法）的优缺点,提出了一种进行多层前馈神经网络学习的新算法,即ＳＤ－ＣＧＭ－ＯＣ算法．该算法结合最速下降法与正交校正共轭梯度法的特点,在文中所述实际问题构造模型的基础上,论证了ＳＤ－ＣＧＭ－ＯＣ算法比传统的ＢＰ算法具有更高的学习效率和二次收敛率．实验结果验证了该学习算法的有效性．     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛,混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题。同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例。     

自适应滤波器的一种新LMS算法——改进的最陡下降法

分析了自适应滤波器最常用的一种LMS算法——最陡下降法,指出该法仅是局部最优,而非全域最优。然后提出了一种新的LMS算法——改进的最陡下降法,该算法正是求最佳权矢量的一个简单而有效的算法。     

一种正余弦变换的改进高效算法

在最速下降法的基础上,给出了地球物理勘探中计算一种正余弦变换的一个有效数值算法,同时对新算法产生的误差进行了理论分析,并用数值实验对理论分析进行了检验．误差的理论分析及数值实验的结果证明了该算法具有较高的精度。     

多模盲均衡算法的一种最速下降优化实现方法

盲均衡算法的传统实现方式大都基于随机梯度下降法,随机梯度法实现简单的代价是较慢的收敛速度和较大的稳态误差.文章基于实用性的考虑,采用批数据处理方式,给出了多模盲均衡算法的一种最速下降实现方法,该方法在每次迭代过程中不需要产生均衡器输出,而是直接利用接收数据的统计量和当前均衡器系数来估计代价函数的最速下降方向,具有收敛速度快,稳态误差小的特点;可以实现流水线式的实时处理,适合包长固定或可变的信号传输场合.     

基于混合遗传算法的支持向量机参数选择

针对常用的梯度下降法支持向量机参数选择方法易陷入局部极小点的问题,提出一种基于混合遗传算法的支持向量机参数选择方法.该方法结合遗传算法的全局优化能力和梯度法的局部寻优能力,能够选择到更好的支持向量机参数.仿真实验表明,使用该方法确定的参数可使支持向量机具有更好的泛化性能.     

超记忆梯度算法的全局收敛性

对无约束优化算法进行了研究。描述了最速下降算法、牛顿法、非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法以及精确线搜索、Wolfe线搜索、Armijo线搜索的搜索条件;着重研究了计算更为有效的适合求解无约束优化问题的超记忆梯度算法;在一类Wolfe型非精确线搜索条件下给出了一类超记忆梯度算法,并且在较弱的条件下证明了算法的全局收敛性,为求解大规模无约束优化问题以及各种算法的比较提供了参考。     

修正的LS共轭梯度法在Armijo型线搜索下的收敛性

给出了一种修正的LS算法,该算法保证每次迭代中的搜索方向是充分下降的,并在两种不同的Armijo型线搜索下证明了该算法是全局强收敛的。     

相位控制形成阵列零陷的技术

针对传统零陷技术计算大量的问题,提出了一种不同于传统相位控制方法的相位控制形成零陷的新方法,它是一个无约束极值优化问题.首先提出一个干扰抑制比概念,并构造一个非线性代价函数,然后利用最速下降法,通过最小化该代价函数,求取线阵阵元最优的相位扰动值,从而能够在多个干扰源方向形成零陷.仿真结果表明,采用提出的零陷形成技术,能够在多个干扰源方向形成深度零陷而不影响主瓣.该相位控制形成零陷的技术突破了传统的相位控制技术要求零陷个数必须远小于阵元数的限制.     

无约束最优化图像重建算法研究

在无约束最优化为基础的图像重建问题中,为了提高迭代效率以及重建图像质量,首次提出将变度量法应用到图像重建中.分别给出了变度量法,最速下降法和共轭梯度法的算法描述,并且分析了这些方法的优缺点.变度量法在迭代效率和重建图像质量方面优于其它两种算法.通过模拟实验,分别对这三种算法进行了迭代次数和重建图像质量的比较,结果证明了变度量法的优越性.     

非线性互补问题的一种改进Derivative-free下降方法

提出了一种改进的用于求解非线性互补问题Derivative-free下降方法,其搜索方向为罚Fischer-Burmeister函数非负偏导数的凸组合,搜索策略为一类新的非单调搜索。证明了该算法具有全局收敛性,与传统的Derivative-free下降方法相比,提高了收敛速率,减少了迭代次数。