面向大规模海洋数据同化算法的并行实现及优化

海洋数据同化是一种将海洋观测资料融合到海洋数值模式中的有效手段,经过同化的海洋数据更加接近海洋的真实情况,对人类理解和认识海洋具有重要意义。围绕海洋数据同化设计了一种基于区域分解的一般性并行实现方法。在此基础上,提出了一种基于IO代理的新并行算法。首先,IO代理进程负责数据的并行读取;接下来,IO代理进程对数据进行切块,然后将块数据发送给相应的计算进程;当计算进程完成局部数据同化后,IO代理进程负责收集计算进程的同化结果,并将其写入磁盘。该方法的主要优势在于：利用IO代理进程来负责IO,而不是像传统方法那样让所有进程都来参与IO（直接并行IO）,这样可以防止大量进程对磁盘的同时访问,有效避免进程排队所导致的等待。在天河二号集群上的测试结果表明,对于1度分辨率的数据同化,在核心数为425时,该并行实现的总运行时间为9.1 s,相对于传统串行程序的加速比接近38倍。此外,对于0.1度分辨率的数据同化,基于IO代理的并行同化算法在使用10 000核时依然具有较好的可扩展性,并且可将其IO时间最大限制在直接并行IO时间的1/9。     

三维变分资料同化系统并行算法设计与实现

三维变分资料同化作为现在主流数值天气预报的同化方法,能够明显改善预报数据的质量.随着科学研究的逐渐深入以及科学探测仪器和计算机技术的不断发展,受计算量和内存需求量的限制,传统串行三维变分资料同化系统已无法满足高分辨率、高精确度数值预报的要求.所以,三维变分资料同化系统的并行设计与实现显得尤其重要.本文设计了混合二维区域剖分并行化方法及其通信算法库,并将其应用于国家气象局三维变分同化系统3DVAR.数值试验表明,系统128核的并行效率相对于2核高达72％,具有良好的加速效果;同时,内存需求也随处理器个数的增加而成倍减少,满足了高分辨率预报的要求.     

边缘海静力数值预报模式并行算法研究

边缘海静力数值模式是国内针对边缘海特点自主开发的数值预报模式,但该模式因物理求解方程较多且采用不宜并行化的SOR求解算法而程序计算时间过长。针对上述问题,提出基于三维网格和海洋模式特点的SOR并行求解算法,该算法在保留三维网格数据间依赖关系的同时,有效解决了SOR迭代算法难以并行化的问题。同时,引入通信避免算法,采用MPI非阻塞通信方式,细分计算和通信过程,利用计算有效隐藏通信开销,提高了并行程序效率。实验结果表明,并行后的边缘海静力数值模式程序的性能相对串行程序提升了60.71倍,3天(25920计算时间步)预报结果的均方根误差低于0.001,满足海洋数值预报的时效性和精度要求。     

一个启发式任务团调度算法

基于任务聚类的启发式任务团调度是实现并行任务调度的有效方法。面向大型复杂武器系统的实时并行仿真,在研制自动并行化系统ＡＦＰ的过程中,基于关键任务的聚类算法,设计并实现了一个启发式任务图调度算法。     

基于OpenMP的共轭梯度法并行加速

共轭梯度法是为求解线性方程组而独立提出的一种常用的数值计算方法,被广泛地应用于天气动力、物理海洋等数值计算中,其复杂的矩阵计算产生巨大工作量,成为业务化应用过程中的计算瓶颈。利用OpenMP共享并行技术,将大量计算并行化,实现基于OpenMP的共轭梯度法并行加速,为共轭梯度法的广泛应用提供了新的计算解决方案。     

隧道算法的分布式并行计算模型

本文在总结各种隧道算法的共同特点的基础上,从隧道算法钻隧过程的可并行性出发,提出了基于agent的分布式并行隧道算法,并给出了系统原型和agent模型设计．通过在agent中使用多线程技术,增强了算法的并行性．数值实验证明了该算法的可行性、可扩展性和并行效率．     

悦耳的音乐从何处来——音箱部件大阅兵

本文详细讨论了串行快速排序的并行化过程,并在Windows2000 Professional和MPI群集系统的基础上实现了并行快速排序算法,然后对算法的性能进行分析和改进.     

遥感图像K-Means并行算法研究

K-Means算法是对遥感图像在没有先验知识情况下进行无监督分类的重要算法之一,在遥感影像的分析中得到了广泛的应用.针对K-Means算法复杂,处理过程中计算时间长的缺点,人们试图寻求快速的并行处理方式.在这种并行化的探索过程中,由于K-Means算法独特的流程结构,使其并行化处理方式难以顺利进行.本文在分析K-Means算法特点的基础上,对其并行化方式进行了深入的研究.针对K-Means算法并行化在处理速度和分类精度方面存在的问题,提出了一种基于分块逼近的算法并行模型,可兼顾并行效率和分类精度之间的综合要求,实现某种精度可控的并行处理.最后,根据实验结果讨论并提出了迭代算法并行化的有效途径.     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

基于HTK的语音识别的并行化研究与实现

详细地分析了语音识别的过程,给出了相应的算法描述,并分析了语音识别并行化的可能性。将并行计算的思想应用于语音识别的算法中,使用多线程技术,并引入避免竞争条件的机制,在多核计算机上并行地计算HMM模型节点的似然率,从而得到语音识别的并行化算法。分析了该并行化算法的性能,同时在语音识别工具包HTK 3.4上实现了这种并行化算法。基于WSJ0语料库的实验结果表明该并行化算法在不影响识别结果的前提下能够有效地提高语音识别的实时性能。     

Parallelization of the self-organized maps algorithm for federated learning on distributed sources

The Journal of Supercomputing - This paper describes a formally based approach for parallelizing the Kohonen algorithm used for the federated learning process in a special kind of neural...     

组网雷达估测降水系统并行化方案的设计与实现

国家气象局天气组网雷达定量估测降水系统不仅拥有较大的计算量,而且具有较大的数据吞吐量,同时对实时性要求较高。如果缩短其执行时间,无疑将会带来巨大的收益。鉴于这些特点,使用VTune Amplifer XE对串行程序进行了热点分析和并行性分析,得出程序中有较多线程级并行性,从而制定了相应的并行化方案;然后使用Win32多线程和OpenMP两种技术对该程序在Intel四核处理器平台上进行了并行化。程序主要由单站处理和组网处理两部分组成。由于计算资源的限制,并行后的单站处理程序只有大约10%的性能提升,而组网处理程序则可以达到近似线性的性能提升。通过调整计算负载,并行化版本的加速比可以达到5.5。最后,可以得出该并行化方法适用于计算密集且数据吞吐量较大的一类应用。     

使用GPU加速BLAST算法初探

应用GPU通用高性能编程技术实现了一种加速BLAST算法的新方法。BLAST是目前最常用的用于生物序列查询比对的算法和软件包,其处理速度受到串行化执行和磁盘I/O等因素的影响。本文通过实验分析了BLAST软件包中的典型程序BLASTN的运行热点,并选定关键热点模块,应用CUDA编程技术对其进行并行化改造。对比实验结果表明,对于平均序列长度较大的序列库,应用GPGPU并行化可明显缩短该模块的运行时间,获得超过35倍的加速比。这说明,我们可以利用GPGPU对BLAST进行并行化加速,以满足高性能生物序列查询的需求。     

A Method for Parallelizing Algorithms by Vector Scheduling Functions

A technique for parallelizing multidimensional algorithms with uniform dependencies designed for the implementation on parallel architectures of smaller dimensionalities is suggested. The technique is based on multidimensional separate scheduling of the basic operations of the algorithm. A procedure for the construction of a scheduling (parallelizing) function on the basis of theoretical results is suggested.     

GPU加速的图像匹配技术

传统的模板图像匹配算法,匹配速度较慢。应用GPU通用高性能编程技术实现了一种加速图像匹配算法的新方法。应用CUDA编程技术对图像匹配算法进行并行化改造。采用了四种不同的存储方案,在第四种存储方案中获得了43.5倍的加速比,并对四种不同的存储方案的性能进行了深入研究。     

自动寻找使多重串行循环并行化的幺模变换

对于已知n维距离向量矩阵的多重串行循环,过去的并行化编译研究还缺乏寻找使循环外层并行化的幺模矩阵的可行算法.文章介绍了多重串行循环并行化的幺模变换方法,不仅从理论上证明满足外层并行化要求的合法幺模矩阵是存在的,而且通过构造性证明给出一个计算外层并行化幺模变换矩阵的可行算法,并探讨了扩大其适用范围于非完全嵌套和非常数相关距离循环的有效途径.     

MPI自动并行化编译系统中消息传递代码生成算法

传统MPI自动并行化编译系统从数据重分布的角度,生成面向分布式存储系统的消息传递程序,但是大量数据重分布通信的额外开销导致其加速比低。为了解决此问题,在基于Open64的MPI自动并行化编译系统后端,提出了一种消息传递代码生成算法。该算法以统一数据分布为中心,根据给定的并行化循环集和通信数组集,通过修改WHIRL表示的串行代码语法结构树,生成更精确的消息传递代码。实验结果表明,该算法能够较大程度地降低消息传递程序的通信开销,并且明显提升其加速比。     

An Object-Oriented Framework for Loop Parallelization

Generation of efficient parallel code is a major goal of a well-designed and developed parallelizing compiler. Another important goal is portability of both compiler system and the resulting output source codes. The various choices of current and future parallel computer architectures as well as the cost of developing a parallelizing compiler make portability a very important design goal. Since the design of parallelizing compilers is considerably move complex than designing conventional compilers, it is very important to achieve both efficiency and portability. To meet this dual goal, we have investigated the application of object oriented design to parallelizing compilers. Our parallelizing compiler design is based on abstractions of intermediate representations of loops and their class definitions. In this paper, we address the problem of loop parallelization and propose a framework where the loop parallelization process is divided into three phases and the optimization of loops is performed via a cyclic application of these three phases. The class of each phase is hierarchically derived from intermediate representations of loops. This facilitates the portability of the resulting parallelizing compilers. Furthermore, one of the phases uses a reservation table of hardware resources in order to obtain optimized parallel programs for given hardware resources. The validation of the proposed framework is given through the application of the object oriented design on an example program which is then parallelized efficiently.     

数据挖掘的并行策略研究

文章对数据挖掘算法的并行策略进行了分类,分类技术主要集中在分割训练数据以及在每一个阶段的最后从处理器中抽取属性。这种方法在关联规则和决策树中得到了广泛的研究。在策略应用中,以DD算法为例进行了说明。在文章的最后,展望了并行数据挖掘的发展方向。