基于Rocks的高性能集群平台搭建与应用

高性能计算是实现大规模并行计算的有效途径,本文论述了如何构建一个高性能集群,介绍了集群安装工具--Rocks,分析Rocks安装机制、特点以及Rocks如何管理集群,利用Rocks搭建了一个基于Linux的高性能集群平台,并在该平台上实现了量子化学软件Gaussian的应用,进一步测试了Rocks系统的性能。     

基于分级存储的石油勘探地震处理应用研究

石油勘探中“两宽一高”采集技术的深入应用，对地震资料并行处理能力提出了更高的要求，针对存储对地震资料处理应用的影响进行研究。为提高各类应用的运算效率，设计并实现了基于SSD、集群NAS多级分层存储地震资料处理方法，针对高IOPS应用、大数据块并行应用进行算法流程级设计。通过DD与IOZONE基准测试、两种应用实际运行效果，验证了设计方案具备在地震资料处理中应用效率与性价比上的优势，适用于勘探数据中心地震资料处理，具有一定的普适性。     

地震并行处理模式与应用框架

文中研究石油地震数据处理的并行计算设计模式（流水、扇出／扇入、主从和混合）和应用框架,框架和模式的目的都是复用成功的软件设计自力更生,框架可以看作一类设计模式的具体实现。针对地震数据处理模式设计和实现了GRISYS地震数据处理应用框架。利用这个框架,以往大量的串行地震处理模块,不需要任何改动,可以在工作站集群计算机或大规模并行计算机上实现并行计算,在曙光2000－Ⅱ并行计算机上试验,获得了非常高的并行处理加速比。     

基于集群的海洋遥感图像融合并行计算策略

集群体系下的大规模并行计算,是高性能计算的基础。遥感图像处理效率的提高,有赖于并行计算技术的应用。在分析已有网格计算环境下分布式任务分配方法的基础上,针对海上遥感图像目标物数量相对较少的特点,首先利用四叉树结构理念对目标区域进行划分,同时采用动态负载均衡的任务分配策略与并行计算思想,提出对目标区域图像进行融合处理的集群体系任务分配算法处理模型。通过对比验证,表明该集群体系下算法模型能有效地提高图像融合的速度。     

高性能计算集群的Linpack测试及其在大数据中的应用

高性能计算集群用于高效并行计算,具有很高的性价比和良好的可扩展性,如何测试和评价集群系统性能成为一个关键问题。本文基于6个节点的集群进行Linpack测试,测试不同问题规模、计算节点数、求解矩阵数据分块NB、处理器网格拓扑P×Q、网络通信等重要因素,将单机与集群的计算性能进行对比,测试集群性能,结果表明：该集群的并行计算性能良好,可扩展性强,但硬件通讯能力需进一步改善。应用该集群到实际的地震大数据计算中,该集群的并行计算能力得到了很大的提升。     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

Lyra——多域环境下的分布资源管理系统

随着应用需求的不断增长,并行计算环境的规模越来越大,高性能计算环境由单个集群向多个集群扩展,由本地资源向远程资源扩展,所涉及的计算资源种类繁多,系统管理也更加复杂.本文介绍的Lyra系统是一个针对多域计算环境特点设计的大规模分布资源管理系统,具有资源模型适应性强、系统可扩展性好、资源调度策略灵活、对多域并行计算支持能力强的特点,可以为大规模并行计算和大规模信息处理系统提供资源监控管理支撑以及资源信息服务.本文介绍了LYRA系统的设计结构,分析了系统的关键技术特点,并给出了与相关系统的比较.     

基于集群计算机的信息处理系统设计

C4ISR系统的信息处理需要实时和可靠,文章针对信息融合算法的特点,设计了基于集群计算机的信息处理系统,通过多节点冗余和并行计算实现了系统的可靠和高性能,并给出阶段测试结论。     

地震资料处理集群系统的设计与应用

随着地震勘探采集技术精度和密度的不断提高,地震资料处理计算量和数据量迅速增加,对硬件资源的要求越来越高.如何将计算、存储、网络资源有效整合在一起,构建一套面向地震资料处理的集群系统成为难题.本文提出了一套地震资料处理集群的设计方案,重点介绍了服务器、存储、网络设备的选型以及集群管理系统,最后从性能和应用两方面对集群系统做了详细的测试.     

影像数据分布并行计算处理平台体系架构研究

遥感影像数据并行处理系统大多依赖于国外商用产品,而国内自主化并行计算处理系统的任务流程化支撑能力以及并行计算性能难以适应规模化生产。为此,基于Hadoop的HDFS,MapReduce集群并行架构、CPU和GPU协同并行处理、内存映像、BMP等技术,提出流程驱动执行的高性能分布式并行计算处理平台体系架构。实验结果表明,工作站集群和工作站内多粒度混合的并行计算架构提高了平台并行处理性能,为海量遥感影像数据产品的批量生产提供一种自主化解决方案。     

MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.     

基于Myrinet/GM的多通道通信

通信子系统对并行系统的计算效率有重要影响,大规模应用对并行平台的通信性能和可用性提出了挑战性的要求.多通道通信技术通过并行采用多路网络链路互连来提高并行系统通信性能和可用性.首先分析了多进程复用网络对通信性能的影响,然后以Myrinet/GM网络平台为基础,提出了基于网络接口层的通信链路动态选择与分配策略,设计和实现了支持多路Myrinet网络并行通信的协议层MNC.MNC支持通信进程平等,充分地利用多路Myrinet网络链路资源.在使用2路Myrinet互连的PC机群平台上,MNC进程间通信带宽相对于单链路提高了约34%,有效地提高了应用层通信性能.     

面向高性能计算机的海量数据处理平台实现与评测

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.     

并行BSP模型在实时集群系统中的应用

分析BSP并行计算模型在多源数据处理中的应用特点。构建实时集群计算机系统的并行计算BSP模型。对多源任务数据处理的粒度进行了分析设计。给出了实时集群计算机系统中BSP模型的实现算法。实际应用验证了算法的有效性。     

存储框架模型在地震资料大数据中的应用

油气勘探领域的地震资料是一种典型大数据.运用超大规模并行处理应用软件对地震资料数据进行叠前偏移成像处理, I/O存储子系统成为整个系统的主要性能瓶颈.针对该问题,本文以存储主机集群、动态存储多路径与并行文件系统为关键技术进行有机结合,提出了一种存储框架模型,分析优越性,并对其进行部署.在典型应用场景下对系统的功能、性能进行测试,结果验证了系统的优点.     

多时相遥感影像变化检测系统设计与实现

针对遥感卫星影像数据量大,计算时间长等特点,在高性能集群并行处理环境下,研究了长时间序列遥感卫星影像变化信息快速提取技术,设计并实现了一体化变化检测工艺流程及系统框架,为多时相遥感卫星影像变化检测提供了高精度、快速的方法与平台。以广东某地区为试验数据,研究表明,与传统变化检测方法相比,进一步提高了变化信息提取精度,并可以获得良好的并行加速比,并行效率高,能够满足大规模遥感数据的变化检测。