大型复线性方程组预处理双共轭梯度法

当复线性方程组的规模较大或系数矩阵的条件数很大时,系数矩阵易呈现病态特性,双共轭梯度法存在不收敛和收敛速度慢的潜在问题,采用适当的预处理技术,可以改善矩阵病态特性,加快收敛速度。从实型不完全Cholesky分解预处理方法出发,构造了一种针对复线性方程组的预处理方法,结合双共轭梯度法,给出了一种预处理双共轭梯度法。数值算例表明该算法求解速度快,可靠高效,能够应用于大型复线性方程组的求解。     

GPU加速不完全Cholesky分解预条件共轭梯度法

不完全 Cholesky 分解预条件共轭梯度（incomplete Cholesky factorization preconditioned conjugate gradient ,ICCG）法是求解大规模稀疏对称正定线性方程组的有效方法。然而ICCG法要求在每次迭代中求解2个稀疏三角方程组,稀疏三角方程组求解固有的串行性成为了ICCG法在GPU上并行求解的瓶颈。针对稀疏三角方程组求解,给出了一种利用GPU 加速的有效方法。为了增加稀疏三角方程组求解在GPU上的多线程并行性,提出了对不完全Cholesky分解产生的稀疏三角矩阵进行分层调度（level scheduling ）的方法。为了进一步提高稀疏三角方程组求解的并行性能,提出了在分层调度前通过近似最小度（approximate minimum degree ,AMD）算法对系数矩阵进行重排序、在分层调度后对稀疏三角矩阵进行层排序的方法,降低了分层调度过程中产生的层数,优化了稀疏三角方程组求解的GPU内存访问模式。数值实验表明,与利用NVIDIA CUSPARSE实现的ICCG法相比,采用上述方法性能可以获得平均1倍以上的提升。     

基于GPU的稀疏线性系统的预条件共轭梯度法

研究了基于GPU的稀疏线性方程组的预条件共轭梯度法加速求解问题,并基于统一计算设备架构(CUDA)平台编制了程序,在NVIDIAGT430 GPU平台上进行了程序性能测试和分析。稀疏矩阵采用压缩稀疏行(CSR)格式压缩存储,针对预条件共轭梯度法的算法特性,研究了基于GPU的稀疏矩阵与向量相乘的性能优化、数据从CPU端传到GPU端的加速传输措施。将编制的稀疏矩阵与向量相乘的kernel函数和CUSPARSE函数库中的cusparseDcsrmv函数性能进行了对比,最优得到了2.1倍的加速效果。对于整个预条件共轭梯度法,通过自编kernel函数来实现的算法较之采用CUBLAS库和CUSPARSE库实现的算法稍具优势,与CPU端的预条件共轭梯度法相比,最优可以得到7.4倍的加速效果。     

免停滞的GMRES(m)算法研究

1.引 言 解大型线性方程组仍是当今数值计算中的一个重要问题[1—8],GMRES(m)算法是解大型非对称线性方程组的常用方法[1],其中A∈Rn×n为大型稀疏非奇异矩阵,x,b∈Rn.然而,当A为非正实阵时,GMRES(m)解问题(1.1)可能会停滞.为此我们在第二节将先给出GMRES(m)停     

预处理共轭梯度算法异构并行求解及优化

共轭梯度算法是求解对称正定线性系统的重要方法之一,该算法求解问题通常具有稀疏性.随着问题规模的不断增大,单CPU因其存储及计算能力限制已经不能满足大规模稀疏线性方程组求解的实时需求.基于此,本文提出一种基于CPU+GPU异构平台的MPI+CUDA异构并行求解算法.首先,对共轭梯度算法进行了热点性能分析,说明该算法求解时存在的计算困难及挑战;然后,根据共轭梯度算法特性进行了任务划分,实现异构并行算法设计;最后,针对异构并行算法中存在的通信开销、数据传输开销和存储器访问开销等问题,对异构并行算法进行优化以进一步提升求解效率及性能.实验结果表明,与MPI并行和CUDALib并行相比,MPI+CUDA异构混合并行在串行计算部分较少的Jacobi预处理共轭梯度算法上分别获得336%和33%的性能提升,在串行计算部分较多的ILU预处理共轭梯度算法上也能分别获得25%和7%的性能提升,同时结果还显示MPI+CUDA混合并行随着节点数目的增加具有一定可扩展性.     

改进的并行广义共轭残差算法

针对大型非对称稀疏线性方程组的求解,通过利用广义共轭残差（GCR）算法的固有性质,消除GCR算法的内积计算数据相关性,给出一种改进的广义共轭残差（IGCR）算法。IGCR算法与GCR算法有相同的收敛性,在基于MPI的分布式存储并行机群上进行并行计算时,同步开销次数减少为GCR算法的一半。数值计算结果与理论分析表明,IGCR算法的性能优干GCR算法。     

对称逐步超松弛预处理共轭梯度法的改进迭代格式

51．引言线性方程组的求解方法可分为两大类：直接法和迭代法．对于大型问题，当系数矩阵为条件数较小的稀疏矩阵且右端项不多时，迭代法的求解效率高．尽管迭代法多种多样，但其迭代收敛速度毫不例外地取决于迭代矩阵的条件数，而预处理的唯一目的就是降低迭代矩阵的条件数，从而达到减少迭代次数和计算量的目的．共轭梯度法（CG法）具有许多内在的优点，如有限步收敛性质．在实际计算中，由于舍入误差的影响，特别是由于系数矩阵的条件数常常较大，CG法往往出现收敛慢的问题．预处理共轭梯度法（PCG法）就是在共轭梯度法中采用了预处理…     

基于GPU-CUDA的共轭斜量法实现及性能对比

偏微分方程数值解法(包括有限差分法、有限元法)以及大量的数学物理方程数值解法最终都会演变成求解大型线性方程组。因此,探讨快速、稳定、精确的大型线性方程组解法一直是数值计算领域不断深入研究的课题且具有特别重要的意义。在迭代法中,共轭斜量法(又称共轭梯度法)被公认为最好的方法之一。但是,该方法最大缺点是仅适用于线性方程组系数矩阵为对称正定矩阵的情况,而且常规的CPU算法实现非常耗时。为此,通过将线性方程组系数矩阵作转换成对称矩阵后实施基于GPU-CUDA的快速共轭斜量法来解决一般性大型线性方程组的求解问题。试验结果表明:在求解效率方面,基于GPU-CUDA的共轭斜量法运行效率高,当线性方程组阶数超过3000时,其加速比将超过14;在解的精确性与求解过程的稳定性方面,与高斯列主元消去法相当。基于GPU-CUDA的快速共轭斜量法是求解一般性大型线性方程组快速而非常有效的方法。     

工程计算中大型稀疏矩阵存储方法研究

在工程实际中,许多问题都可以归结为数值法求解偏微分方程(组)的问题.偏微分方程数值解法主要包括有限差分法、有限元法和有限体积法,其中大多数方法都是通过离散的方式将方程转化为线性方程组,通过求解线性系统得到原方程的数值解.在这个过程中,线性方程组的系数矩阵通常很大并且很稀疏,会占用大量存储空间并使方程组难以求解.针对这个问题,本文研究大型稀疏矩阵的压缩存储方法,只存储非零元素,降低存储空间消耗,避免零元素参与计算,提升计算效率.具体来说,在稀疏矩阵生成过程中,使用十字链表法存储,可以在常数时间内完成非零元素的插入操作;在方程组求解过程中,使用按行(列)压缩存储方法,既节约存储空间,又可以提高求解器的求解效率.在实验部分,本文分别使用有限差分法求解Laplace方程和有限元法计算圆环截面应力分布问题,对其中大型稀疏线性方程组的系数矩阵,采用十字链表法和按行(列)压缩存储法存储,使用直接法和迭代法求解线性方程组.实验结果显示,对于结构化和非结构化的稀疏矩阵,压缩存储方法不仅能够大幅度减少内存空间的占用,而且能够显著提升求解器的效率.     

解大型稀疏线性方程组的异步迭代算法模型

解大型稀疏线性方程组是大量科学技术和工程计算中的基本问题之一。本文研究了线性方程组异步迭代解法的一般模型。在这个模型中,通过产生若干个协同任务来解方程组,每个任务计算解向量的一部分。然后,分析这种模型,以确定期望的相互任务间数据传输以及作为任务数函数的任务计算复杂性。根据这种分析,对任务的划分提出建议。这就是,任务的划分是线性方程组的稀疏性、结构(即任意稀疏矩阵或带状矩阵)及维数的函数。     

Multiple search direction conjugate gradient method I: methods and their propositions

In this article, we proposed a new CG-type method based on domain decomposition method, which is called multiple search direction conjugate gradient (MSD-CG) method. In each iteration, it uses a search direction in each subdomain. Instead of making all search directions conjugate to each other, as in the block CG method [O'Leary, D. P. (1980). The block conjugate gradient algorithm and related methods. Lin. Alg. Appl., 29, 293–322.], we require that they are nonzero in corresponding subdomains only. The GIPF-CG method, an approximate version of the MSD-CG method, only requires communication between neighboring subdomains and eliminate global inner product entirely. This method is therefore well suited for massively parallel computation. We give some propositions and a preconditioned version of the MSD-CG method.     

一类基于Armijo搜索的改进DY共轭梯度法及其全局收敛性

本文通过结合MFR方法与MDY方法,对搜索方向进行调整,提出了一类求解无约束优化问题的修正DY共轭梯度法,该法在每步迭代都能不依赖于任何搜索而自行产生充分下降方向．在适当的条件下,证明了在Armijo搜索下对于非凸的优化问题,本文算法是全局收敛的．数值实验表明本文算法是有效的．     

一类修正的DY共轭梯度法及其全局收敛性

本文提出了一类求解无约束优化问题的修正DY共轭梯度法.算法采用新的迭代格式,每步迭代都可自行产生一个充分下降方向.采用Wolfe线搜索时,证明了全局收敛性.数值实验结果验证了算法是有效的.     

大规模优化问题的一个具有充分下降性的共轭梯度算法

本文基于修正的共轭梯度公式,提出了一个具有充分下降性的共轭梯度算法,该算法不需要线搜索,其步长由固定的公式给出．某种程度上,该算法利用了目标函数的二次信息,对目标函数的(近似)二次模型采取了精确线搜索,每步都只需要计算一次梯度值,特别适合大规模优化计算．本文还给出了该算法的全局收敛性分析,并得到强收敛结果．数值实验表明这种算法是很有应用前景的．     

微分求积区域分裂法求解二维奇异摄动问题

本文应用微分求积法结合区域分裂法求解二维奇异摄动问题,数值实验表明,该方法简单易行,计算量少,精确度高.并且微分求积法结合区域分裂法把大型计算化成若干小型计算,避免了微分求积法导出的矩阵不是稀疏矩阵对大型计算不利的缺点.     

非线性预处理共轭斜量法

我们以Engli(1959)的线性方法为基础,构造出一个极小化一般非线性目标函数(3)的非线性预处理共轭斜量法:     

强迫下降的三项共轭梯度法

基于共轭和下降性质,提出了一种强迫下降的三项共轭梯度法,证明了算法在Wolfe线搜索下的全局收敛性,并进行了数值比较实验.理论与数值试验结果表明这个算法是一个值得研究的方法.     

模糊图像恢复的投影重开始共轭梯度法

针对点扩散函数为线性位移不变的图像恢复问题提出了一种重开始的投影共轭梯度法．该方法结合正则化技术,分两层迭代,采用阻尼Morozov偏差原则作为停机准则,在运算中利用快速傅立叶变换减少计算复杂度．并对二维遥感灰度图像和彩色图像分别进行数值实验,验证了该方法可以有效的再现原始图像,证明了算法的有效性．     

Domain decomposition PCG methods for serial and parallel processing

In this paper two domain decomposition formulations are presented in conjunction with the preconditioned conjugate gradient method (PCG) for the solution of large-scale problems in solid and structural mechanics. In the first approach, the PCG method is applied to the global coefficient matrix, while in the second approach it is applied to the interface problem after eliminating the internal degrees of freedom. For both implementations, a subdomain-by-subdomain (SBS) polynomial preconditioner is employed, based on local information of each subdomain. The approximate inverse of the global coefficient matrix or the Schur complement matrix, which acts as the preconditioner, is expressed by a truncated Neumann series resulting in an additive type local preconditioner. Block type preconditioning, where full elimination is performed inside each block, is also studied and compared with the proposed polynomial preconditioning.     

一种新的非线性共轭梯度法及收敛性

在LS方法基础上,提出了一种新的求解无约束最优化问题的共轭梯度法.新方法通过一个新的公式计算参数,克服了LS方法的数值效果不稳定和收敛性弱的缺点,并且在强Wolfe线搜索下证明了该方法具有充分下降性和全局收敛性.大量的数值试验表明新方法是稳定的、有效的.