Exploiting Network Locality for CC-NUMA Multiprocessors

The Journal of Supercomputing - Rapid advances in interconnection networks in multiprocessors are closing the gap between computation and communication. Given this trend, how can we utilize fast...     

基于多核集群系统的并行编程模型的研究

并行计算技术是计算机技术发展的重要方向之一。当前并行程序模型主要有消息传递模型和共享存储模型两种。随着处理器多核技术的发展,在一枚多核处理器中集成两个或多个完整的计算引擎（内核）,并充分利用多核计算机的特性,发挥多核计算机的性能成为一个很重要的研究方向。介绍一种新的MPI实现机制,这种机制集成了共享存储模型和消息通信模型的优点,在节点内使用共享存储模型,在节点间使用消息传递模型,并且通过自动生成线程级的任务来获得更好的性能。．     

基于SMP集群系统的并行编程模式研究与分析

并行计算技术是计算机技术发展的重要方向之一,SMP与集群是当前主流的并行体系结构。当前并行程序设计方法主要采用基于消息传递模型的MPI和基于共享存储模型的OpenMP,两种编程模式各有特点和适用范围。对SMP集群以及MPI和OpenMP的特点进行了分析,介绍了在SMP集群系统中利用MPI和OpenMP混合编程的可行性方法。     

单套网络与多套网络通信性能的比较与分析

目前,以单套网络作为通信系统的机群广泛应用于科学计算中,为了进一步提高机群计算处理能力,引入了多套网络作为机群通信系统。多套网络能够明显地提高机群的通信性能,但是怀疑其应用性能是否也有相应的提高。为了解决疑问,在GM通信系统的基础上实现了双套网络的通信系统(PCS),并全面而又具体地对GM和PCS进行性能比较,实验数据表明:在通信性能方面,PCS的带宽比GM提高了98.4%,而延迟只增加了0.3!s￣0.5!s;在应用性能方面,对于通信量比较大、大消息比较频繁的应用程序,PCS能够取得很好的性能提高,如IS程序,执行时间减少了25.3%,而对于小消息通信比较频繁的应用程序,性能会略有下降,如LU程序,执行时间增加了0.4%。     

并行网络模拟中拓扑抽象算法的研究

并行网络模拟是研究网络的一个重要方法,由于有限的硬件资源的限制,无法完成大规模的网络模拟。提高模拟的抽象度是一种减少资源、提高模拟性能的好方法,它的基本思想是精简网络模拟模型。为了提高并行网络模拟的规模,本文提出一种简化拓扑算法,该算法抽象了拓扑中的所有主机和部分路由器,提高了并行网络模拟的性能。     

基于动态关键任务的多处理器任务分配算法

多处理器调度问题是影响系统性能的关键问题,基于任务复制的调度算法是解决多处理器调度问题较为有效的方法.文中分析了几个典型的基于任务复制算法,提出了基于动态关键任务(DCT)的多处理器任务分配算法.DCT算法以克服贪心算法不足为要点,调度过程中动态计算任务时间参数,准确确定处理器的关键任务,以关键任务为核心优化调度,逐步改善调度结果,最终取得最优的调度结果.分析和实验证明,DCT算法优于现有其它同类算法.     

基于BSP模型的大规模线性规划并行算法研究

在许多实际工程问题中经常遇到一些大型线形规划问题，通常的计算过程需要占用大量的计算时间，效率低下。文中提出了一种基于BSP模型的大规模线性规划并行算法——修正单纯形并行算法，分析了其代价函数和加速比，在所研制的集群计算机上进行了实现和测试。结果表明：当问题规模比较大时，此并行算法能获得较好的加速比。     

基于BEOWULF的PC集群系统设计及并行编程的研究

介绍了机群的概念,重点介绍了Beowulf集群。在此基础上,构建了BeowulfPC集群,并详细介绍其软硬件的配置.最后,通过对MPI的介绍,结合实例,对系统进行了性能评测。此系统已运用于实际工作中,取得了良好的效果。     

Linux环境下的并行计算

进行大规模科学计算的常用手段是并行计算。从性能和费用等方面考虑,在支持网络并行计算的操作系统中优先选择的系统应是Linux。本文介绍了LINUX环境下的一些并行计算软件,讨论了分布式并行计算的一些概念和需要解决的一些问题。     

基于PVM的并行程序开发环境研究

开发并行程序要比开发单机串行程序更难。PVM开发环境是应用比较广的环境之一,适合于开发粗粒度的工程科学计算并行程序,而这些工程计算问题一般是一些数值计算问题的集合。编写这些数值计算并行程序有一定的难度和复杂度,并且现在没有很好支持开发PVM并行程序的成熟开发环境。针对这个问题,构造一个基于PVM的并行程序开发环境。开发环境包括一个并行算法库和一个嵌入到Visual Studio的可视化程序开发插件。通过开发平台进行并行程序开发将更加简单、高效。     

集群环境中的对周期性Barrier应用的调度策略

在工作站集群系统中调度周期性Barrier并行应用，若采用不加修改的本地调度器或只采用Spin-Block策略的调度器，则所获得的性能距离最佳性能都有着或多或少的差距，并且不能很好地扩展到多个应用同时运行的情况．本文提出了一种新的Preempt-Block策略以解决一致状态的获取问题，而利用Spin-Block策略维持一致状态．上述二者相结合的策略使得系统的CPU占用时间和应用的响应时间都接近最优化，并适用于多个Barrier应用同时执行的情况．     

MPI动态负载平衡策略的研究与实现

集群环境下的并行计算越来越被广泛应用,MPI是集群系统中最重要的编程工具。在并行处理过程中,负载平衡起着很重要的作用,它直接影响到整个算法的效率。文中结合MPI编程环境下的具体特点,提出了基于负载益处估价的方法来判断是否进行任务迁移,给出了负载实时监测和调度的算法,并在每个节点机上间隔性地进行测试。最后在搭建的MPI环境下,运用并行排序方法进行了验证。实验结果表明采用负载前后有了很明显的提高,特别是随着任务量不断增大的情况下提高的效果更加明显。     

Using the Language MC# for the Implementation of a Parallel Pattern Classifier

A classifier is constructed that can be efficiently used in multiprocessor systems. Its model is proposed that is designed for the classification of black-and-white patterns. The model is based on an artificial neural network and is implemented using parallel programming tools. __________ Translated from Kibernetika i Sistemnyi Analiz, No. 3, pp. 179–182, May–June 2005.     

Maximum Likelihood Estimation Using Parallel Computing: An Introduction to MPI

The computational difficulty of econometric problems has increased dramatically in recent years as econometricians examine more complicated models and utilize more sophisticated estimation techniques. Many problems in econometrics are `embarrassingly parallel' and can take advantage of parallel computing to reduce the wall clock time it takes to solve a problem. In this paper I demonstrate a method that can be used to solve a maximum likelihood problem using the MPI message passing library. The econometric problem is a simple multinomial logit model that does not require parallel computing but illustrates many of the problems one would confront when estimating more complicated models.     

PC机群上共享存储与消息传递的比较

共享存储和消息传递是目前两种主流的并行编程模型.一般认为,消息传递的可编程性不及共享存储友好.OpenMP是目前共享存储编程的实际工业标准.机群OpenMP系统在机群上提供了OpenMP编程环境,具有易编程和可扩展的特点,但是其性能如何一直是关注的热点.以机群OpenMP系统OpenMP/JIAJIA和典型的消息传递系     

The Effect of Process Topology and Load Balancing on Parallel Programming Models for SMP Clusters and Iterative Algorithms

This article focuses on the effect of both process topology and load balancing on various programming models for SMP clusters and iterative algorithms. More specifically, we consider nested loop algorithms with constant flow dependencies, that can be parallelized on SMP clusters with the aid of the tiling transformation. We investigate three parallel programming models, namely a popular message passing monolithic parallel implementation, as well as two hybrid ones, that employ both message passing and multi-threading. We conclude that the selection of an appropriate mapping topology for the mesh of processes has a significant effect on the overall performance, and provide an algorithm for the specification of such an efficient topology according to the iteration space and data dependencies of the algorithm. We also propose static load balancing techniques for the computation distribution between threads, that diminish the disadvantage of the master thread assuming all inter-process communication due to limitations often imposed by the message passing library. Both improvements are implemented as compile-time optimizations and are further experimentally evaluated. An overall comparison of the above parallel programming styles on SMP clusters based on micro-kernel experimental evaluation is further provided, as well.     

An Efficient Communication Scheduling Method for the Processor Mapping Technique Applied Data Redistribution

Array redistribution is usually required for more efficiently executing a data-parallel program on distributed memory multi-computers. In performing array redistribution using synchronous communication mode, data communications among the processors should be properly arranged to avoid incurring higher data transfer cost. Some efficient communication scheduling methods for the Block-Cyclic redistribution have been proposed. On the other hand, the processor mapping technique can help reduce the data transfer cost of redistribution. To avoid degrading the benefit of data transfer cost reduction, it is needed to construct optimal communication schedules for the redistribution in which the processor mapping technique is applied. In this paper, we present a unified approach to constructing optimal communication schedules for the processor mapping technique applied Block-Cyclic redistribution. The proposed method is founded on the processor mapping technique and can more efficiently construct the required communication schedules than other optimal scheduling methods.     

基于机群系统的大规模并行搜索算法--大型离散偏微分方程组快速求解

大量的科学与工程应用中,会经常遇到复杂偏微分方程组的求解问题,这些偏微分方程组一般无法得到分析解,实际采用的是将其离散后通过数值逼近方法来求得近似解.为了得到较高的求解精度,需要将离散网格划分得足够细,但是这样就成倍地增加了计算量,许多问题就是因为计算量过大而无法求解或不得不降低精度求解.本文在机群计算平台上,针对机群计算的特点,提出了一种大规模并行搜索算法,这种算法由于可以充分发挥各个结点的计算能力,有效降低结点之间的通信,因而具有很高的效率.文中对这一算法进行了详细描述.该算法已经成功地用于压力铸造过程的流场模拟计算之中,可以有效地解决一大类大型离散偏微分方程组的求解问题.对于同样规模的一个实际问题,并行算法的求解时间相对于串行算法,从3到4天下降到3个小时,取得了很好的并行加速.     

无线传感器网络带状拓扑路由研究与应用

本文围绕无线传感器网络在道路交通中的应用展开讨论，根据带状拓扑结构的特殊性，提出了一个分两级网络的路由协议，由上级节点发送路由请求建立路由，下级节点维护本地路由，并将下级网络按地理位置分成无簇头的分簇结构。应用实践表明，带状拓扑结构下，此路由协议简单，容易实现，开销小等。     

EBE-PCG算法在有限元并行计算中的应用研究

目前,在研究有限元并行计算时,讨论并行算法理论和并行算法设计与分析的居多,研究并行算法的实现并解决实际问题较少。在Beowulf集群环境下,采用EBE策略设计出基于PVM平台的EBE-PCG算法,并通过一个电法勘探的典型工程算例对该算法在有限元计算中的性能进行了测试。实验结果表明,该算法加速比和并行效率均较为理想;在处理同等规模的问题时,同CG算法、PCG算法相比,具有并行度更高,耗时更少等优点。