无约束最优化问题的BFGS松弛异步并行算法

为解决大规模非线性最优化问题的串行求解速度慢的问题,提出应用松弛异步并行算法求解无约束最优化问题。根据无约束最优化问题的BFGS串行算法,在PC机群环境下将其并行化。利用CHOLESKY方法分解系数为对称正定矩阵的线性方程组,运用无序松弛异步并行方法求解解向量和Wolfe-Powell非线性搜索步长,并行求解BFGS修正公式,构建BFGS松弛异步并行算法,并对算法的时间复杂性、加速比进行分析。在PC机群的实验结果表明,该算法提高了无约束最优化问题的求解速度且负载均衡,算法具有线性加速比。     

非线性约束最优化并行算法综述

(一)引 言 随着并行计算机的迅速发展,最优化并行算法的研究,近十几年来有了较大的进展.尤其在无约束最优化并行算法的研究上,已获得令人鼓舞的成绩.在文献中,我们已对无约束最优化并行算法作了介绍.至于约束最优化并行算法研究,由于难度大,真正有效发展只是近几年的事.而把约束最优化并行算法用来解决实践问题为数更少,最早在实践的应用上取得成效,首推M.DAYDE.他在1985年中利用可分约束规划的并行算法,求出结构设计的最佳设计方案.     

多核计算环境下快速排序并行算法的实现

研究了快速排序算法,并在其基础上提出了基于多核技术的OpenMP并行编程模型的快速排序算法.实验结果表明,该并行算法具有较高的并行加速比和并行效率.     

整体异步的并行转换算法

针对Fukushima提出的求解无约束最优化问题的同步并行转换算法(PVT),提出一个整体异步并行算法,该算法去除了并行计算中同步与通信的开支。在一定的条件下,证明了该算法具有全局收敛性以及线性收敛速度。数值试验结果表明,异步PVT算法优于同步PVT算法。     

一种BFGS校正的改进信赖域方法

本文利用经典的信赖域方法,针对无约束优化问题,对信赖域进行改进,并在此基础上对算法进行BFGS校正。数值实验证明,相比传统的信赖域方法,改进的信赖域方法在计算效率上有了很大提高;而加入BFGS校正后,新算法相比改进的信赖域方法又有了进一步的提高。     

EBE-PCG算法在有限元并行计算中的应用研究

目前,在研究有限元并行计算时,讨论并行算法理论和并行算法设计与分析的居多,研究并行算法的实现并解决实际问题较少。在Beowulf集群环境下,采用EBE策略设计出基于PVM平台的EBE-PCG算法,并通过一个电法勘探的典型工程算例对该算法在有限元计算中的性能进行了测试。实验结果表明,该算法加速比和并行效率均较为理想;在处理同等规模的问题时,同CG算法、PCG算法相比,具有并行度更高,耗时更少等优点。     

EBE-PCG算法在有限元并行计算中的应用研究

目前,在研究有限元并行计算时,讨论并行算法理论和并行算法设计与分析的居多, 研究并行算法的实现并解决实际问题较少.在Beowulf集群环境下,采用EBE策略设计出基于 PVM平台的EBE-PCG算法,并通过一个电法勘探的典型工程算例对该算法在有限元计算中的性能进行了测试.实验结果表明,该算法加速比和并行效率均较为理想;在处理同等规模的问题时,同CG算法、PCG算法相比,具有并行度更高,耗时更少等优点.     

并行直接搜索法

本文提出了一种不用导数的无约束多维最优化并行算法。它特别适用于在流水线向量机上求解高维最优化问题。     

基于多核平台并行K-Medoids算法研究

分析K-Medoids算法的内在并行性,设计一个适合多核平台的并行算法,并利用OpenMP进行实验。实验结果表明,并行算法对多核环境有很好的适应性,在双核及四核计算机上均获得了较好的加速比与运行效率。     

一种改进的全区域覆盖算法

针对Fukushima提出的求解无约束最优化问题的同步并行转换算法(PVT),提出一个整体异步并行算法,该算法去除了并行计算中同步与通信的开支.在一定的条件下,证明,该算法具有全局收敛性以及线性收敛速度.数值试验结果表明,异步PVT算法优于同步PVT算法.     

BFGS算法在多Transputer系统上的并行实现

本文讨论了ＢＦＧＳ算法在多Ｔｒａｎｓｐｕｔｅｒ系统上的并行实现问题，利用向量和矩阵分解并充分考虑到多Ｔｒａｎｓｐｕｔｅｒ系统的硬件特点，构造了一个负载平衡度高，通讯量小的并行ＢＦＧＳ算法。     

A parallel quasi-Newton algorithm for unconstrained optimization

In this paper, we present an asynchronous parallel quasi-Newton method. We assume that we havep+q processors, which are divided into two groups, the two groups execute in an asynchronous parallel fashion. If we assume that the objective function is twice continuously differentiable and uniformly convex, we discuss the global and superlinear convergence of the parallel BFGS method. Finally we show numerical results of this algorithm.     

一种改进的神经网络非线性预测控制

从建立神经网络非线性预测模型出发，针对BP网络存在收敛速度慢，容易陷入局部最小的缺点，该文在BFGS拟牛顿法的基础上，提出了一种基于并行拟牛顿优化算法的并行拟牛顿神经网络。该并行拟牛顿优化算法采用两个含有不同参数的拟牛顿校正公式，在每次迭代过程中，利用这两个不同的校正公式得到相应的搜索方向，并通过不精确搜索法求取最优步长，最后根据一性能指标取最优的一个搜索方向和相应的步长对网络各层之间的权值进行修正。Matlab仿真结果表明，同BP神经网络和BFGS拟牛顿神经网络相比，该神经网络具有收敛速度快、模型精度高的特点，更适合于实时非线性控制。     

融合BFGS的自适应蜂群算法在谐波平衡分析中的应用

针对谐波平衡分析中传统算法存在初值限制,以及智能算法收敛速度慢的缺点,提出一种基于BFGS（Broyden-Fleteher-Goldfarl-Shanno）算法局部搜索策略的自适应蜂群算法。该算法在基本蜂群算法的基础上引入非线性的动态调整因子代替蜂群算法搜索公式中的随机变量,增加搜索的自适应性,并将BFGS算法运用到自适应蜂群算法后期求解,提高其局部搜索能力。实验结果表明,改进算法较标准蜂群算法迭代次数减少51.9%,相对于传统BFGS算法和部分改进智能算法均表现出较好收敛性能。     

两相流空隙率测量的ERT技术新算法研究

基于BFGS最优化方法,提出一种新型的ERT图像重建算法:改进的BFGS算法.新算法采取了不精确搜索方向,并用单位矩阵近似代替目标函数的Hessian矩阵,以减小计算量,提高算法的重建速度.将新算法应用于两相流空隙率的测量.数值实验证明,新算法重建图像的质量优于目前常用的灵敏度系数法,空隙率测量的最大绝对误差可小于8%,获取一个空隙率测量值的时间小于0.1s.     

基于BFGS优化的lp模约束稀疏分解去噪方法

利用lp模约束的稀疏成分分析方法可以对信号进行去噪处理。基于lp模约束的稀疏分解方法通常是采用优化方法来对信号在过完备库中进行分解,而分解时采用的过完备库是非常巨大的,所以如果优化方法选择不当,会导致稀疏分解效率的低下。在本文中,采用BFGS方法来进行优化分解,和通常采用的Newton方法比较,能在保持稀疏分解结果性能基本不变的前提下,有效地提高算法的分解效率。     

A globally convergent BFGS method for pseudo-monotone variational inequality problems

In this paper, we propose a globally convergent BFGS method to solve Variational Inequality Problems (VIPs). In fact, a globalization technique on the basis of the hyperplane projection method is applied to the BFGS method. The technique, which is independent of any merit function, is applicable for pseudo-monotone problems. The proposed method applies the BFGS direction and tries to reduce the distance of iterates to the solution set. This property, called Fejer monotonicity of iterates with respect to the solution set, is the basis of the convergence analysis. The method applied to pseudo-monotone VIP is globally convergent in the sense that subproblems always have unique solutions, and the sequence of iterates converges to a solution to the problem without any regularity assumption. Finally, some numerical simulations are included to evaluate the efficiency of the proposed algorithm.     

Comparing the performance of neural networks developed by using Levenberg-Marquardt and Quasi-Newton with the gradient descent algorithm for modelling a multiple response grinding process

Monitoring and control of multiple process quality characteristics (responses) in grinding plays a critical role in precision parts manufacturing industries. Precise and accurate mathematical modelling of multiple response process behaviour holds the key for a better quality product with minimum variability in the process. Artificial neural network (ANN)-based nonlinear grinding process model using backpropagation weight adjustment algorithm (BPNN) is used extensively by researchers and practitioners. However, suitability and systematic approach to implement Levenberg-Marquardt (L-M) and Boyden, Fletcher, Goldfarb and Shanno (BFGS) update Quasi-Newton (Q-N) algorithm for modelling and control of grinding process is seldom explored. This paper provides L-M and BFGS algorithm-based BPNN models for grinding process, and verified their effectiveness by using a real life industrial situation. Based on the real life data, the performance of L-M and BFGS update Q-N are compared with an adaptive learning (A-L) and gradient descent algorithm-based BPNN model. The results clearly indicate that L-M and BFGS-based networks converge faster and can predict the nonlinear behaviour of multiple response grinding process with same level of accuracy as A-L based network.     

A hybrid method for inversion of 3D AC resistivity logging measurements

In this paper, we propose the use of a hybrid algorithm for the inversion of 3D Alternate Current (AC) resistivity logging measurements. The forward problem is solved using a goal-oriented self-adaptive hp-Finite Element Method (hp-FEM) that provides exponential convergence of the numerical error with respect to the mesh size. The inverse problem is solved using a Hierarchical Genetic Search (HGS) coupled with a Broyden–Fletcher–Goldfar–Shanno (BFGS) method. Individuals from the genetic populations represent the resistivity of the formation layers. The fitness function is estimated based on hp-FEM results. The hybrid method controls the accuracy of evaluation of particular individuals, as well as the accuracy of the genetic coding. After finding those regions where the fitness function has small values, the local search method by means of BFGS algorithm is executed. The paper is concluded with numerical results for the hybrid algorithm.