基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.     

面向地震资料处理的集群系统设计与实现

针对能源应用领域的地震资料处理对高性能并行计算的需求,介绍了一种集群系统的设计与实现方案。寸集群系统中易产生性能瓶颈的网络通信子系统、存储子系统、全局共享文件系统这些关键子系统提出了详细的设计方法与实现技术。同时对集群系统管理、地震资料处理的并行计算应用部署给出了具体的实现方法。最后分别使用LINPACK基准测试与地震资料处理并行计算应用实测结果,验证该集群系统芷高性能并行计算方面的优越性。     

存储框架模型在地震资料大数据中的应用

油气勘探领域的地震资料是一种典型大数据.运用超大规模并行处理应用软件对地震资料数据进行叠前偏移成像处理, I/O存储子系统成为整个系统的主要性能瓶颈.针对该问题,本文以存储主机集群、动态存储多路径与并行文件系统为关键技术进行有机结合,提出了一种存储框架模型,分析优越性,并对其进行部署.在典型应用场景下对系统的功能、性能进行测试,结果验证了系统的优点.     

四川物探全面装备戴尔HPCC系统

本刊讯,2005年9月20日,四川石油管理局地球物理勘探公司与戴尔公司合作,部署一套包括138个节点的新一代戴尔高性能计算集群(HPCC),以提升对地震资料的处理能力。近年来,随着四川物探业务量的不断增长,迫切需要引进全新的计算平台以满足日益增长的计算需求。由于地震资料处理工作计算量巨大、数据处理过程复杂,通信也极其频繁,新的计算系统必须拥有优异的计算性能、出色的I/O吞吐能力和海量的存储能力。此外,要成功部署大规模HPCC系统,供应商丰富的部署经验尤其不可或缺。经过严格测试,四川物探最终选定了戴尔的新一代HPCC解决方案。该…     

基于智能存储设备的共享存储集群系统研究

随着越来越多的机构采用集群计算技术来实现高性能计算(HPC)--地球、海洋和大气科学、地震数据分析等科学研究和药物研究、汽车设计模型、商业业务冒险分析等商业应用,集群计算技术已经进化为开发高性能计算系统的主要的方法.所有的这些应用的计算都是公认的复杂.能够有效地管理与这些应用密切相关的数据集驱动了现在的集群计算技术的发展.采用智能存储设备(OSD)大大简化了元数据服务器的工作量,并且使得系统的管理和效率都得到了很大的提高.集中描述一个新的存储体系结构--基于智能OSD的共享存储集群计算系统.     

地震资料数据备份系统建设

地震资料数据安全成为油气勘探领域判断油气藏的位置、规模等特性的关键因素.数据备份是数据安全的重要组成部分,通过分析地震勘探业务需求,结合现有地震资料处理解释应用系统实际现状,提出了一种基于分级的数据备份系统解决方案.该方案能有效解决各类地震资料数据的集中备份与恢复、地震资料处理解释应用系统的存储子系统后备扩容以及不同存储级间的数据迁移等用户需求,从而确保油气勘探的数据安全.     

高性能集群系统在野外现场地震资料处理中的应用

随着大庆油田对外围油田勘探力度的逐年加大,野外地震处理显得尤为重要。以往的野外现场处理方式已经不能满足现场处理的需求。为了保证地震资料野外采集的质量,缩短资料处理周期,经过仔细的调查研究,决定将集群系统引入到现场处理当中。将其与工作站、绘图服务器以及磁带机、打印机等外围设备进行系统集成,组成一套完整的野外地震资料处理系统。     

基于分级存储的石油勘探地震处理应用研究

石油勘探中“两宽一高”采集技术的深入应用，对地震资料并行处理能力提出了更高的要求，针对存储对地震资料处理应用的影响进行研究。为提高各类应用的运算效率，设计并实现了基于SSD、集群NAS多级分层存储地震资料处理方法，针对高IOPS应用、大数据块并行应用进行算法流程级设计。通过DD与IOZONE基准测试、两种应用实际运行效果，验证了设计方案具备在地震资料处理中应用效率与性价比上的优势，适用于勘探数据中心地震资料处理，具有一定的普适性。     

网络聚合技术在高性能地震资料处理系统中的应用

根据近年来中海油南海西部油田地震勘探资料高性能并行处理系统建设的成功案例,详细地介绍几个基于偏移技术计算的有代表性的HPC集群并行处理系统网络架构模型(包括千兆或万兆以太网和存储网络)的演变、趋势和技术特点,以及不同的网络在新建集群和系统扩充中整合与汇聚。     

网络聚合技术在高性能地震资料处理系统中的应用

根据近年来中海油南海西部油田地震勘探资料高性能并行处理系统建设的成功案例。详细地介绍几个基于偏移技术计算的有代表性的HPC集群并行处理系统网络架构模型（包括千兆或万兆以太网和存储网络）的演变、趋势和技术特点。以及不同的网络在新建集群和系统扩充中整合与汇聚。     

基于Linux的PC集群在地震资料处理中的应用与实现

Linux操作系统是高性能计算的理想平台,基于 Linux的 PC-Beowulf集群在性能价格可靠比和可靠性、移植性、伸缩性方面有相当大的优势,将其作为地震资料处理的软硬件平台,构筑先进的系统环境,可以获得良好的实用价值和经济价值。本文在对传统地震处理系统的软硬环境分析基础上,给出了2个用于地震处理的Linux PC集群系统结构和主要配置,最后给出了实际处理模块在其上的运行效率。     

基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例

海量时空数据的高效存储、读写、处理与分析是当前地理信息科学领域的研究热点。本文对目前主流大数据技术产品进行了选取和融合,开展了基于HDFS+Spark的时空大数据存储、处理分析等方面的研究和探讨,以智慧无锡时空信息云平台为应用对象,搭建了一套时空大数据存储处理的集群平台,并通过具体应用实验,得到了时空数据存储、处理、挖掘的响应时间及可视化展示结果,证实了HDFS+Spark集群计算平台在解决时空大数据存储、处理、挖掘方面的有效性。     

支持异构集群并行的高能物理数据处理系统

传统集群计算系统无法充分利用本地磁盘的存储资源和I/O,大量网络I/O成为系统瓶颈,导致资源利用率降低,并造成高昂的存储和网络成本.使用Hadoop处理分析作业可有效利用本地磁盘存储和I/O资源,而集群资源统一管理工具Mesos则使用轻量化的设计和高效的通信机制,能在不同计算集群之间动态共享集群资源.为此,分析高能物理数据处理的特点,利用Mesos构建异构集群间资源共享的高能物理实验数据处理系统,实现Torque/Maui和Hadoop集群的集成.测试结果表明,该系统能够在集群间动态分配集群资源,并利用本地存储和磁盘I/O显著降低网络I/O,提高集群资源利用率.     

存储新技术在地震资料处理中的应用研究

地震资料处理对存储空间和存储性能都有着较高的要求,处理过程中数据量会急剧增加,中间数据几倍甚至几十倍于原始数据,传统的NFS存储架构,由于其明显的IO瓶颈,处理作业完成时间受到很大制约。简单分析了地震勘探数据处理对于存储的需求,介绍了并行存储实现原理及地震资料处理系统对数据的访存特点,最后对并行存储进行IO压力、性能测试。测试表明:并行存储能够提高数据性能数倍,很大程度上缩短了地震资料处理时间并减轻了系统人员的运维压力。     

天气雷达资料实时并行处理方法

利用共享存储多处理器的集群环境,研究高频度实时多部天气雷达资料处理的并行计算方法,根据单部天气雷达的计算特点和多部雷达混合处理的方法,提出一种粗粒度消息传递接口分布式内存和细粒度OpenMP共享内存混合编程的2级并行方法。实验结果表明,该方法使系统资料处理速度得到较大提高。     

提升IT生产力，电力安全先行

存储系统的性能与Linux计算集群的处理能力不匹配一直是一个难题,极大地制约了Linux计算集群处理能力的充分发挥,只有解决Linux集群系统间的I/O瓶颈问题,才能从容地应对日益繁重的地震分析和解释任务。     

建立开放的高性能集群

高性能计算集群主要用于解决大规模科学计算问题,以及存储和处理海量数据。在行业应用较广。Linux的出现,推动了集群系统的发展。目前,OpenMOSIX集群受到企业用户的欢迎。     

集群技术在税务信息集中的应用

基于集群计算思想建立的集群系统可以为市级税务部门信息处理大集中提供服务器平台。集群系统由处理计算节点集群、SAN存储系统、数据库管理集群、集群内部互连网络、外部服务网络和集群管理控制台等6部分组成。通过对山东地税系统使用基于集群技术的税务大集中应用案例的分析和测试，显示了集群技术应用在税务大集中项目中的先进性、优越性和实用性，完全可以满足市级税务大集中的应用需求，具有广阔的应用前景。     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

基于共享存储的高可伸缩嵌入式集群模型

利用对称多处理机(SMP)作结点可为嵌入式集群带来更高的计算性价比,但多个并行和存储层次也会带来存储一致性、可伸缩性、性能差异等问题.提出一种基于共享存储的嵌入式集群模型LESC.该模型通过高度综合实现"计算单元-互连一致性模块-系统"三级高可伸缩结构,获得功耗成本有效性.LESC完成分布式共享存储的基本功能,其目录缓存一致性和扩展的共享存储机制改善了传统存储层次,并利用"共享存储虚拟网络"提供模块级的高效通信,避免了网络硬件开销,同时支持MPI编程.经该模型的真实系统平台测试,模块内MPI通信性能是传统嵌入式集群的3倍以上,单元间通信性能可达单元内性能的86%以上,Linpack测试其扩展性能在最差情况下接近理想值的70%.