三角形方程组的一种分布式并行算法

提出了分布式环境下求解三角形方程组的一种新的并行算法,该算法基于将系数矩阵和右端顶分,并将其以块行卷帘方式存储在各处理器的局部存储器,利用通信与计算重叠的技术,取得了比块列扫描算法好的效果,当方程组具有多重右端项时,效果尤为突出。文中给出了在YH3M计算机上该算法的数值试验结果及其与块列扫描算法的数值比较结果。     

块三对角线性方程组的一种分布式并行算法

提出了分布环境下求解三对角线性方程组的一种并行算法,该算法基于对计算量的仔细估算,合理地将方程组求解工作分配到各处理机,达到负载平衡,同时,充分地将计算与通信重叠,减少处理机空闲时间;当块三以角线性方程组的系数矩阵为对角占优时,算法在执行过程中不会中断;文中分析了算法的复杂性,给出了在分析布存储多计算机系统上的数值试验结果,数值结果表明,文中算法的效率较Ｃｈｕｎｇ等的算法有较大的提高。     

网络并行计算中矩阵QR分解的并行算法

随着高速网络技术（如ＡＴＭ）的出现,网络并行计算系统（ＮＯＷ）已成为并行处理的主要平台,由于它的高通信延迟,某些在并行机上实现的细粒度并行算法已不适合在该环境下运行。为此,有必要对算法重新进行任务划分,研究它在网络环境中的并行实现。基于这一点,本文对矩阵的ＱＲ分解提出了一种新的任务划分策略,并由此得到了它的一种粗粒度并行算法,实验结果表明,设计的并行算法在网络并行计算环境中具有较高的加速比。     

针对复杂系统并行模拟问题的并发式多级矩阵重排算法

在解决复杂化工过程优化与模拟问题时,大规模代数差分方程的存在导致大量的计算时间花费在重复求解稀疏大型线性方程组的过程中。随着并行计算和网络技术的发展,为了提高优化或模拟工作的速度,可以通过将非对称矩阵重排为带边块对角形式,从而实现对线性系统的高效并行求解。本文提出一种基于Kernighan-Lin算法的并发式的多层次矩阵重排策略,它以最小化边块为目标,同时保证尽可能小的负荷非平衡性,从而获得好的重排结果。应用该重排策略可以对大型稀疏矩阵进行压缩和并行重排,提高重排算法的效率。在研究过程中应用了基于该技术的并行计算程序对一系列标准矩阵进行了检验,并与一些现有的算法进行了比较,证明了其有效性和可行性。     

分块带边结构线性规划并行算法

基于内点算法((Interior Point Method,IPM)框架,导出具有分块带边结构系数矩阵的线性规划(Linear Programming, I_P)问题的简化和最简修正方程,并证明最简修正方程的对角分块具有正定性。结合正定矩阵的Cholcsky分解和解藕技术设计了修正方程的并行求解方法,给出了LP的并行内点算法结构。集群环境下的数值实验表明,所提算法具有很好的加速比和可扩展性,适合求解大规模结构化工尹问题。     

大规模结构化二次规划并行算法

在内点算法(IPM)框架基础上,分析具有分块带边结构系数矩阵与箭形结构二次项的二次规划(QP)问题,导出其既约与最简既约修正方程.对既约修正方程系数矩阵进行置换,使其具有箭形分块结构,并结合该结构与解耦技术给出修正方程的并行求解算法,设计QP问题的并行IPM结构.在集群环境下的数值实验结果表明,该算法具有较好的加速比和...     

一类Toeplitz三对角方程组的一种分布式并行算法

文中提出一类Toeplitz三对角方程组的一种分布式并行算法。该算法以系数矩阵的分解为基础,充分利用了系数矩阵结构的特殊性,算法因并行化而引入的冗余计算量非常少,算法的通信机制简单,通信量仅与处理 机台数p有关,与方程组规模n无关,算法具有很高的并行效率,理论分析和数值试验表明,其加速比Sp(n)→p(n→ ∞）,此为线性加速比的理想情况。文中给出了算法在分布存储多计算机系统上的数值试验结果。     

一类Toeplitz循环三对角方程组的一种分布式并行算法

提出一类Toeplitz循环三对方程组的一种分布式并行算法,在求解由一阶线性双曲型方程（如迁移方程）在一定边界条件下导出的隐式差分方程组时,要重复地求解此类Toeplitz循环三对角方程组。算法基于对系数矩阵的分解,贯彻并行算法设计中“分而治之”的原则,充分利用了系数矩阵结构的特殊性。算法实现中通过秦九韶公式的运用,避免了不必要的冗余计算;理论分析和数值试验表明,算法是数值稳定的,且当方程组规模充分大时,该算法加速比趋近线性加速比的理想情况。给出了算法在某分布存储多计算机系统上的数值试验结果。     

求解块三对角线性方程组的含参并行算法

提出了分布式环境下求解含有两个参数的矩阵分裂方式的一种交替方向迭代并行算法,通过引入两个参数并巧妙分解系数矩阵A得到新算法,从理论上给出了该算法收敛的两个充分条件,并讨论了参数的选择范围.基于局域网的MPI异构环境,在HP rx2600集群上进行了数值实验,并与多分裂方法比较.比较的结果表明,此算法是可行的,具有良好的并行效率.     

基于算法图的并行计算优化

研究基于算法图的并行计算优化设计方法。通过引入算法图，从数学机理上算法的并行结构进行描述，针对不同要求提出了对计算网络的并行优化设计方法，为设计并行算法提供了新的有途途径。     

具有粒子群特征的优化并行蚁群算法

针对蚁群算法在实际应用中存在的计算时间较长、容易陷入局部最优等问题,提出一种新的具有粒子群特征的优化并行蚁群算法,并将该算法与其他相关算法相结合,共同用于物流联盟车辆调度实例中。实验结果表明,该算法在减少计算时间以及避免早熟现象等方面具有较高的性能。     

基于遗传算法的多连接表达式并行查询优化

多连接表达式的并行查询优化是提高数据库性能的关键问题之一.提出了使用遗传算法来解决多连接表达式的并行查询优化问题.为了提高查询处理器的执行效率,采用启发式规则来搜索最优的多连接表达式并行调度执行计划.文中给出了详细的测试结果和性能分析.实验结果表明,结合启发式知识的遗传算法是解决多连并行查询优化的有效途径,对提高数据库的性能起到重要作用.     

基于变量转换的并行优化算法

针对大规模边界约束优化问题,现有并行变量转换(PVT)算法不适于直接求解。基于此,采用内点法和逐步下降的思想,提出一个并行求解边界约束最优化问题的可行算法。在下降方向满足梯度相关、步长满足Goldstein规则的条件下,证明该算法的收敛性。当约束失效时,该算法退化为求解无约束的PVT算法,从而成为原有算法向约束优化问题的一个推广。     

基于混合并行遗传算法的多目标约束优化技术研究

多目标约束优化问题属于NP问题。并行遗传算法是解决该类问题的常用算法,它具有较强的全局搜索能力和并行性,但局部搜索能力差,禁忌搜索算法则比较适合于局部搜索。提出了一种基于混合并行遗传算法的多目标约束优化方法,该方法综合了并行遗传算法和禁忌搜索算法的优势,改进了并行遗传算法的性能,能有效避免局部最优解。     

基于大规模序列比对软件的并行优化方案

基于基因电脑克隆软件SiClone和可变剪接分析软件AltSplice的并行优化工作,提出一种基于大规模序列比对软件的并行优化方案。该方案对所要进行比对分析的大规模序列库按某种策略进行分割部署,使机群中每个节点处理整个序列库的一部分,可有效减少磁盘I／O和节点间通信开销,适合低价高效的Linux机群系统。     

多种群并行协作的粒子群算法

针对高维复杂优化问题在求解时容易产生维数灾难导致算法极易陷入局部最优的问题,提出一种能够综合考虑高维复杂优化问题的特性,动态调整进化策略的多种群并行协作的粒子群算法。该算法在分析高维复杂问题求解过程中的粒子特点的基础上,建立融合环形拓扑、全连接形拓扑和冯诺依曼拓扑结构的粒子群算法的多种群并行协作的网络模型。该模型结合3种拓扑结构的粒子群算法在解决高维复杂优化问题时的优点,设计一种基于多群落粒子广播-反馈的动态进化策略及其进化算法,实现高维复杂优化环境中拓扑的动态适应,使算法在求解高维单峰函数和多峰函数时均具有较强的搜索能力。仿真结果表明,该算法在求解高维复杂优化问题的寻优精度和收敛速度方面均有良好的性能。     

可扩展机器学习的并行与分布式优化算法综述

机器学习问题通常会转换成一个目标函数去求解,优化算法是求解目标函数中参数的重要工具.在大数据环境下,需要设计并行与分布式的优化算法,通过多核计算和分布式计算技术来加速训练过程.近年来,该领域涌现了大量研究工作,部分算法也在各机器学习平台得到广泛应用.本文针对梯度下降算法、二阶优化算法、邻近梯度算法、坐标下降算法、交替方向乘子算法五类最常见的优化方法展开研究,每一类算法分别从单机并行和分布式并行来分析相关研究成果,并从模型特性、输入数据特性、算法评价、并行计算模型等角度对每个算法进行详细对比.随后对有代表性的可扩展机器学习平台中优化算法的实现和应用情况进行对比分析.同时对本文中介绍的所有优化算法进行多层次分类,方便用户根据目标函数类型选择合适的优化算法,也可以通过该多层次分类图交叉探索如何将优化算法应用到新的目标函数类型.最后分析了现有优化算法存在的问题,提出可能的解决思路,并对未来研究方向进行展望.