地震处理多核异构并行计算通用框架研究

新的地震采集方式可每天产生30TB的巨大数据,迫切需要并行计算技术支撑资料处理,而并行模式的复杂化(如MPI、OpenMP和CUDA等)导致程序设计的复杂化,尤其当系统软硬件资源变化时,必须反复修改源程序。为简化复杂的地震并行软件开发,提升地震处理并行效率,本文在分析各种并行模式的基础上,建立了一整套地震处理多核异构并行计算通用框架,将各种并行模式相结合,充分发挥各自的优势,实现地震处理软件的多核异构并行模式自动匹配,提高了地震处理软件在多核异构环境下开发的可行性和并行效率。基于该框架研发的GPU炮域波动方程叠前深度偏移软件,与CPU串行算法相比,计算精度等同,但并行效率提高20倍以上,且随GPU节点增多呈线性增长趋势。     

GPFS并行文件系统在地震数据处理中的应用

地震数据处理系统的I/O瓶颈已严重制约机群的运算能力,而GPFS并行文件系统的使用较好地解决了这个问题。本文简要地介绍了群集系统I/O和并行文件系统,详细地阐述了GPFS并行文件系统的原理及工作过程,并结合GPFS的使用情况,介绍了GPFS在地震处理群集系统中的应用。     

基于CPU+GPU联合计算真地表叠前时间偏移实用化研究

为了提高起伏地表条件下的基尔霍夫叠前时间偏移算法的计算效率,针对CPU+GPU异构计算平台开展了算法移植与优化研究。首先分析了起伏地表条件下提高偏移成像精度的反假频、弯曲射线旅行时计算以及真地表旅行时校正的处理方法,然后在对算法的并行计算特征进行分析的基础上,针对CPU+GPU异构平台的算法移植进行了多级并行联合计算架构的设计,通过炮检距域的多进程数据域并行、地震数据I/O与偏移计算的异步并行、基于CUDA的超大规模线程成像域并行以及联合CPU计算的多线程成像域并行技术对算法进行了移植及优化。利用大规模测试数据集进行了计算效率测试,测试结果验证了多级并行联合计算架构以及分别针对CPU和GPU平台的算法优化技术能够极大地提高偏移处理效率。     

大规模三维地震数据Kirchhoff叠前深度偏移及其并行实现

本文提出了基于共炮检距数据体的适用于大规模三维地震数据体的Kirchhoff叠前深度偏移(PSDM)并行实现方案。其基本思路为:①利用任意介质中的动态规划法三维旅行时计算方法提供旅行时场;②按照炮检距组织数据;③根据机器物理内存大小分配成像深度段;④对共炮检距数据分深度段进行基于消息传递接口(MPI)的进程并行处理;⑤对单进程作业进一步利用OpenMp并行同时实现多个单道的成像处理。此方案可充分利用节点内存,减少数据输入/输出(I/O)量。该方案是将单个炮检距的某个深度段的成像空间和需要的所有炮的对应深度段的旅行时场调入内存中,每一深度层的成像均在内存中进行,而且Inline和Crossline方向的偏移孔径可以自适应地根据偏移速度和成像深度进行选择,并采用空变反假频技术,可较大地提高成像精度。成像结果按体偏移形式输出,同时也可以输出成像道集。该方案在内存利用、数据I/O量和计算效率上达到最佳平衡。并行方式充分采用MPI+OpenMp混合编程模式,可高效、高精度地处理大规模三维地震数据。理论和实际数据的偏移成像结果均证明了本文方案的正确性和高效性。     

基于Spark的近地表速度模型快速层析反演

近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法。通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈。为此,提出了一种快速、稳健的基于Spark技术的近地表速度模型层析反演方法,采用分布式内存管理技术将迭代中重复计算的数据持久化至内存中,提高程序运行效率。同时,为了解决共享存储中随着节点规模扩大而产生网络I/O堵塞的瓶颈问题,在分布式存储环境下组织弹性分布式数据集(RDD),设计基本规约单位为深度方向的一维反演数据,基于Spark Shuffle在规约过程中分布并行规约,利用Spark调度器在各个进程中分配任务,实现并行计算。实际数据计算结果表明：在反演结果精度不变的情况下,相对于常规MPI并行技术,该实现方法能够大幅度降低迭代过程中产生的网络I/O;当计算节点较多时,计算效率能够提高4倍以上;并行加速比呈现类线性增长趋势。     

并行虚拟机及地震数据并行处理

本文介绍ＰＶＭ－并行虚似机的概念、特点及其在地震数据处理中应用，并讨论地震并行处理几种模式，有关系统级实现，国内外性能测试例子，最后讨论并行化技术。     

基于设计模式的地震并行处理应用框架

本文研究石油地震探数据处理的流水、扇出扇入、主从和混合并行计算模式,并针对这些模式设计和实现了ＧＲＩＳＹＳ地震并行处理应用框架。利用这个框架,不需要对以往大量的地地震处理模块作任何改动,可以在工作站集群计算机或大规模并行计算机上实现并行处理。     

面向地震数据处理的并行与分布式编程框架

 本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h 33min 缩减到15min 27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。     

CPU与GPU协同并行的多分量地震数据各向异性叠前时间偏移

地震勘探工区规模的日益庞大,造成多分量地震数据的各向异性叠前时间偏移算法耗时巨大。目前常用CPU集群方式并行加速该类算法,而集群方法必将导致节点间通信时耗增大;同时受限于CPU结构特点,只能通过扩大集群规模提高加速比。针对上述问题,提出一种基于CPU与GPU协同并行的多分量地震数据各向异性叠前时间偏移算法,利用OpenMP和CUDA实现CPU与多个GPU的协同并行,使用内存映射方法降低I/O耗费;并根据CPU与GPU的结构特点优化地震数据及速度数据的读取和存储方式,分割成像空间以节省算法内存消耗,每次只计算与开启的GPU个数相同条数的主测线,主测线内部采用一个GPU线程对应一道地震数据的偏移计算方法,以充分利用GPU计算能力。应用约29G的实际工区多分量地震数据分别比较不同个数GPU协同CPU并行的加速比,得知使用6个GPU协同CPU对实际纵波及转换波数据进行并行偏移处理时,加速比分别达到444和449。     

基于CUDA的地震信号频率补偿并行算法

基于压缩感知的地震信号频率补偿算法可有效拓宽地震信号的频谱,提高地震资料的分辨率。虽然该算法具有良好的拓频效果,但对于高维度、大规模的地震数据时效较低。经过分析发现该算法的计算瓶颈在于计算反射系数部分的大量代数运算和重构信号部分的卷积运算,为此,提出一种基于CUDA的并行方案对该算法进行并行优化。首先,改变地震数据的组织形式,使其存取效率更高,且更适合并行处理;然后,重新设计计算反射系数串行代码,利用CUDA(Compute Unified Device Architecture)平台调用GPU大量轻量级线程对其中的代数运算进行并行化;最后,利用卷积定理改变了时域信号卷积计算方式,采用cufft库函数将两个时域信号的卷积转换到频域进行计算。结果表明,在保证计算精度的前提下,与串行算法相比,并行算法在PC端获得了4倍以上的总体加速比。     

Kirchhoff叠前时间偏移的GPU移植与性能优化技术

叠前时间偏移在工业生产中发挥着极其重要的作用,为了提高该算法的计算效率,开展了基于GPU异构计算平台的算法移植与优化。首先根据积分法偏移的算法特点制定了偏移距域的多进程数据域并行以及IO与计算异步并行总体并行策略;然后为了提高偏移核心计算部分在GPU上的计算效率,对偏移计算核在GPU上的并行方案进行了分析,选择了成像域超大规模线程并行方案对算法进行了移植和优化,并对不同优化手段在不同GPU硬件平台下获得的性能加速进行了对比测试;最后利用大规模计算节点及大规模地震数据体进行了移植后算法的应用测试,并对算法的计算效率、可扩展性以及精度误差进行了分析。大规模应用测试表明,积分法叠前时间偏移经过GPU移植后可获得较CPU平台近7倍的性能提升,具有很好的工业应用价值。     

消息传递接口在声波方程正演中的应用

声波方程正演在地震资料采集、处理、解释与反演中均发挥重要作用,但现有的基于求解地震波动方程的正演算法由于受庞大计算量的制约而难于大规模应用于工业生产。从声波方程出发,研究了利用有限差分法并行求解该方程的基本思路与方法,给出了适于并行求解的计算空间划分方法,分析了不同参数条件下并行程序的运行时间、加速比与效率,引入消息传递接口（MPI）实现了声波方程的并行求解,极大地提高了数值求解声波方程的计算效率。     

基于Hadoop的Kirchhoff叠前时间偏移并行算法

为了适应大规模地震勘探海量数据快速处理的需求,本文深入分析了地震勘探数据处理中广泛应用的Kirchhoff叠前时间偏移方法,提出了一种利用Hadoop技术实现叠前时间偏移的并行算法;采用数据的两次分块和内存循环利用等技术,提高了Kirchhoff叠前时间偏移海量数据处理效率。实际数据的测试表明,基于Hadoop的叠前时间偏移算法的计算效率比MPI版本提高了6.7%,同时在大规模生产应用条件下(大规模工区和大规模集群系统)具有更高的稳定性、容错性和适应性。     

基于MPI的三维波动方程有限元法并行正演模拟

在三维空间进行地震波动方程有限元正演模拟时,采用基于消息传递界面（MPI）的并行算法可以克服基于单PC机串行算法对数据容量和计算速度的局限。其基本原理是:将模拟区域剖分成多个小区域,每一个进程处理其中一个小区域;在运算过程中,各个进程之间互通相邻区域节点的物性参数和前一时刻的位移值,以备计算当前时刻区域内的位移值,共同实现整个模拟空间的正演模拟。在正演模拟时,采用质量矩阵近似方法来提高程序的并行性,压缩数据量和运算量,最佳并行效率的进程个数则依据并行系统能够满足程序内数据容量来确定。通过3层水平层状介质模型的数值模拟,对方法的可行性和有效性进行了验证。     

基于数据库的并行抽道集技术

针对目前地震海量数据处理的需求, 本文提出一种高效并行道集排序方法。利用地震数据按线和道多级关键字管理的特点, 将数据分块, 分发给多个节点同时进行初级关键字排序, 利用数据库存储过程, 控制并发进程之间的同步和异步, 由最后一个进程将按初级关键字排序后的道集信息进行合并, 继而再次分块进行下一级关键字的并行排序, 实现了海量地震数据分块多级并行排序。实际地震数据排序结果表明该方法切实可行, 效果良好。     

基于OpenMP并行计算的匹配追踪时频分析方法

基于匹配追踪的平滑伪Wigner-Ville分布具有良好的时频分辨率，但由于计算量过大，影响其在实际地震数据处理中的应用。在深入研究基于OpenMP的并行算法的基础上，本文将该并行计算方式应用于匹配追踪法对Morlet子波的寻优过程以及计算多个Morlet子波平滑伪Wigner-Ville分布。实际数据计算结果表明：该并行算法加速性能良好，加速比随线程数增加呈近线性增长，即在确保计算精度的情况下，能显著提高计算效率；而且计算量越大其加速性能体现越充分。     

高精度单频干扰并行压制技术及其应用

为了提高当前工业化处理软件中单频干扰的处理效率,并降低常规处理流程的复杂度,提出并建立了一种高精度单频干扰并行压制新技术。该技术根据最小二乘最优逼近来逐道自动识别与自适应压制单频干扰,同时结合高性能并行处理算法,大大简化了常规处理流程。在XX工区实际地震资料中应用表明,该技术不受其他类型地震噪声影响,能够自动识别含单频干扰的地震道,且能精确得到单频干扰的频率、振幅和相位等信息,具有较高的振幅保真性和计算效率,处理效果优于工业化软件,为勘探成熟区地震资料保幅预处理提供了重要技术参考。