多层感知器三种学习算法的比较

多层感知器是一种多层前馈神经网络,常用的快速训练算法有共轭梯度法、拟牛顿法。通过模式分类实验对这两种算法和BP算法进行比较,并由试验数据得出这几种算法的复杂性、可靠性,以及由算法产生的多层感知器的泛化能力。     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛,混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题。同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例。     

基于步长优化和共轭梯度法的改进BP算法

本文针对传统ＢＰ算法存在的两个常见问题进行了讨论，提出了基于步长优化和共轭梯度法的改进ＢＰ算法。新的算法避免了目前由人为经验确定迭代步长的缺陷，并能有效克服局部极小值。这样可使网络加快收敛，稳定性变好。     

一个含参数的混合LS-DY共轭梯度法

对求解无约束优化问题提出了一个含参数的混合共轭梯度法.新算法将LS方法和推广的DY算法相结合,保证在Wolfe线搜索下每次迭代中的搜索方向是充分下降的.证明了该算法的全局收敛性,给出了数值实验结果.     

桥梁移动荷载识别及其PCGM预优矩阵选取

基于时域法(TDM)求解思路,结合桥梁移动荷载特点,采用预处理共轭梯度法(PCGM)由梁的弯矩响应、加速度响应及其响应组合来识别桥梁移动荷载,重点比较在方程组不适定以及测量响应受噪声影响情况下不同预优矩阵对识别精度的影响,从而得到可用于移动荷载识别的最优预优矩阵.仿真结果表明,在绝大多数工况下,预处理共轭梯度法均能精确识别桥梁移动荷载,但不同预优矩阵对测量噪声及识别方程的不适定性有不同的抵抗能力,且对预处理共轭梯度法的收敛速度、识别精度也存在不同影响;合理选取预优矩阵能够有效提高桥梁移动荷载识别预处理共轭梯度法的精度和效率.     

对较好和较差个体双向更新的混合蛙跳算法

针对基本蛙跳算法在处理复杂函数优化问题时求解精度低且易陷入局部最优的缺点,将共轭梯度法引入基本蛙跳算法,对排名靠前的p个模因组中的精英个体和排名靠后的q个模因组中的落后个体同时使用共轭梯度法进行更新,一方面增强对较差青蛙的指导能力,另一方面使最差的青蛙直接更新,提高了算法的收敛精度.所得混合蛙跳算法有效结合了基本蛙跳算法较强的全局搜索能力和共轭梯度法快速精确的局部搜索能力.将所得的混合蛙跳算法与其他智能优化算法进行对比,数值试验结果表明,无论从收敛精度还是进化代数而言,所得混合蛙跳算法较其他算法均有较大的改进,具有更高的收敛精度,能有效避免陷入局部最优,且优化结果更加稳定.     

Newton-PCG算法的数值性态

理论上，Newton-PCG算法适于求解大规模无约束优化问题．并且牛顿-预优最速下降法优于Newton-PCG算法。在实际应用中，Newton-PCG算法是否有效需经过大量数值试验验证。通过数值试验得出：在维数相同的情况下，Newton-PCG算法比牛顿-预优最速下降法求解时间短：表明Newton-PCG算法优于牛顿-预优最速下降法，比率与问题的维数并无太大关系。     

无约束最优化图像重建算法研究

在无约束最优化为基础的图像重建问题中,为了提高迭代效率以及重建图像质量,首次提出将变度量法应用到图像重建中.分别给出了变度量法,最速下降法和共轭梯度法的算法描述,并且分析了这些方法的优缺点.变度量法在迭代效率和重建图像质量方面优于其它两种算法.通过模拟实验,分别对这三种算法进行了迭代次数和重建图像质量的比较,结果证明了变度量法的优越性.     

Sylvester方程AXB+CXD=E的共轭梯度法

对Sylvester方程AXB+CXD=E提出了一种共轭梯度算法及2种预处理算法,讨论了算法的性质。数值试验表明,共轭梯度法适合解决大规模问题,预处理方法能有效地减少迭代次数。     

An Inexact Halley''''s Method

An inexact Halley's method—Halley-PCG(preconditioned conjugate gradient) method is proposed for solving the systems of linear equations for improved Halley method either by Cholesky factorization exactly or by preconditioned conjugate gradient method approximately. The convergence result is given and the efficiency of the method compared to the improved Halley's method is shown.     

An Inexact Halley＇s Method

An inexact Halley＇s method-Halley-PCG（preconditioned conjugate gradient） method is proposed for solving the systems of linear equations for improved Halley method either by Cholesky factorization exactly or by preconditioned conjugate gradient method approximately. The convergence result is given and the efficiency of the method compared to the improved Halley＇s method is shown.     

适宜PCG方法的水工结构有限元刚度矩阵形成、组集和存储的新方法

针对水工结构有限元分析中刚度矩阵存储量大且易变动的特点,在分析目前常用的预处理共轭梯度法（PCG）算法特性基础上,提出适宜于PCG方法的水工结构有限元刚度矩阵形成、组集和存储的新方法.该新方法中,以＂节点＂为中心的刚度矩阵形成方法取代以＂单元＂为中心的刚度矩阵形成组集方法.针对预处理共轭梯度法中零元素不参与计算,提出只需存储非零元素及其在总体刚度矩阵的相应位置的记位存储策略.与传统方法相比,新方法在形成、组集时间和存储规模上均能更好地满足PCG算法的需求.     

基于信赖域子问题的共轭梯度法

对于求解无约束优化问题,利用重新开始的三项共轭梯度法与信赖域方法结合,并引入非单调技术,当迭代不成功时,改进后的算法保留一些有用信息,提高了算法的有效性。在适当的条件下,给出了新算法的全局收敛性,数值试验结果表明新算法是有效的。     

图像恢复中的一种新预处理算子

在图像恢复实际模型的预条件共轭梯度法中 ,提出了一种新的预处理算子 .将新的预处理算子应用于原来的系统 ,证明了其条件数得到大大的改善 .实验结果表明 ,新的预处理算子具有很大优越性 ,比传统的预处理算子具有更快的收敛速度     

结构分析的并行预处理共轭梯度法

共轭梯度法（ＣＧ法）和预处理共轭梯度法（ＰＣＧ法）由于其固有的并行性，在有限元并行计算中得到很大的重视．本文对ＣＧ法和ＰＣＧ法求解线性静力问题的并行算法给出了严密、清晰的数学推导过程，给出了适合于工程应用的简单有效的预处理矩阵，并提出了单元预处理矩阵的概念，有利于发展不同预处理矩阵的研究．作者在局部内存式并行机Ｔｒａｎｓｐｕｔｅｒ上实现了该算法．     

基于涡粒子的真实感烟雾快速模拟

基于物理的流体模拟方法通过数值求解流体的控制方程可获得逼真的模拟结果,但求解中易产生数值耗散造成流体细节丢失.本文提出采用涡粒子模拟流体,通过求解涡度形式的流体控制方程获得涡度场,再将涡度场转换为不可压的速度场,可降低对流数值耗散,自动保证速度场散度为零,因而能够保持更丰富的流体细节.针对算法在涡度转换为速度时需求解泊松方程的性能瓶颈,基于图形处理器（GPU）设计并实现了一个高效的预条件共轭梯度法求解方程,比现有求解器加速超过10倍.实验结果表明,与现有方法相比,本文算法能够获得真实感更强的流体模拟效果,且模拟速度显著提升.     

基于人工神经网络的负荷预报模型

针对基于ＢＰ（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）学习算法存在的问题,提出了变步幅最速下降和共轭梯度的混合算法来训练人工神经网络,并建立负荷预报人工神经网络模型．为了提高预测精度,对预报权值进行在线修正．实例证明,混合算法在全局收敛特性和收敛速度上要好于基本ＢＰ算法,所建立的预报模型能达到令人满意的精度．