异构计算环境下的三维Kirchhoff叠前深度偏移混合域并行算法

三维Kirchhoff叠前深度偏移（KPSDM）面对数据量的不断增长以及可编程图形处理器（GPU）的引入,传统的并行策略已经不再适合当前的超大规模异构集群的体系架构。本文提出了一种新的混合域KPSDM并行算法,从成像空间、输入数据两个维度对偏移任务进行拆分,消除了任务之间的依赖性。为了应对异构计算环境,将核心计算部分移植到GPU上,并实现了“动态异步”的任务调度策略,保证了负载均衡;对于KPSDM执行过程中重复访问地震数据与旅行时场带来的巨大I/O开销,利用作业节点的本地存储构建分布式缓存系统,解决KPSDM可扩展性受限于共享存储能力的问题。在256节点的集群上处理实际地震数据,获得了接近线性的加速比效果。     

CPU与GPU协同并行的多分量地震数据各向异性叠前时间偏移

地震勘探工区规模的日益庞大,造成多分量地震数据的各向异性叠前时间偏移算法耗时巨大。目前常用CPU集群方式并行加速该类算法,而集群方法必将导致节点间通信时耗增大;同时受限于CPU结构特点,只能通过扩大集群规模提高加速比。针对上述问题,提出一种基于CPU与GPU协同并行的多分量地震数据各向异性叠前时间偏移算法,利用OpenMP和CUDA实现CPU与多个GPU的协同并行,使用内存映射方法降低I/O耗费;并根据CPU与GPU的结构特点优化地震数据及速度数据的读取和存储方式,分割成像空间以节省算法内存消耗,每次只计算与开启的GPU个数相同条数的主测线,主测线内部采用一个GPU线程对应一道地震数据的偏移计算方法,以充分利用GPU计算能力。应用约29G的实际工区多分量地震数据分别比较不同个数GPU协同CPU并行的加速比,得知使用6个GPU协同CPU对实际纵波及转换波数据进行并行偏移处理时,加速比分别达到444和449。     

GeoEast积分法叠前深度偏移处理技术

为了适应高性能硬件资源对地震成像技术的挑战,并满足百TB级宽方位高密度地震数据的深度域叠前成像需求,本文深刻分析了积分法深度域叠前成像技术的技术瓶颈,突破了多维多任务拆分、动态异步任务调度、数据重复访问导致的I/O瓶颈、CPU/GPU异构硬件协同计算等瓶颈技术。提出了一套高效的叠前成像方法和策略,研发了混合域并行、千节点异构并行框架、CPU+GPU高性能协同计算、动态任务调度、高效高压缩比旅行时表压缩、OVT域叠前成像和Q叠前成像等技术,形成了GeoEast积分法叠前深度偏移软件。该软件具备起伏地表、TTI各向异性、OVT分方位偏移、Q偏移、OBN数据的双基准面偏移和镜像偏移等功能;可输出炮检距道集、反射角度道集或构造倾角道集;具备CPU/GPU大规模并行和断点保护、异常节点自动处理等能力,计算效率业界领先,在256及以上节点并行,其加速比接近线性。     

地震处理多核异构并行计算通用框架研究

新的地震采集方式可每天产生30TB的巨大数据,迫切需要并行计算技术支撑资料处理,而并行模式的复杂化(如MPI、OpenMP和CUDA等)导致程序设计的复杂化,尤其当系统软硬件资源变化时,必须反复修改源程序。为简化复杂的地震并行软件开发,提升地震处理并行效率,本文在分析各种并行模式的基础上,建立了一整套地震处理多核异构并行计算通用框架,将各种并行模式相结合,充分发挥各自的优势,实现地震处理软件的多核异构并行模式自动匹配,提高了地震处理软件在多核异构环境下开发的可行性和并行效率。基于该框架研发的GPU炮域波动方程叠前深度偏移软件,与CPU串行算法相比,计算精度等同,但并行效率提高20倍以上,且随GPU节点增多呈线性增长趋势。     

海拉尔某地地震资料叠前深度成像结果（转为时间域，右图）与常规处理结果（左图）的比较

大庆油田勘探开发研究院地震资料处理解释中心目前拥有128个节点、256个CPU的集群并行叠前成像系统，现已实现了成像、解释反演一体化的工业化生产，显著提高了松辽深层、海拉尔盆地地震资料的处理效果。     

基于OpenMP+MPI的2.5维电磁场正演并行化方法

针对2.5维复电阻率电磁场正演串行算法的效率瓶颈,研究了一种基于OpenMP+MPI的混合计算并行化方法。将波数域分解到计算机集群的各节点上,采用MPI对各波数进行并行运算;在各节点内部,对复双共轭梯度法求解线性方程组的过程采用OpenMP并行运算。波数等间隔分配到各集群节点,以利负载均衡;集群节点读取各自的模型参数,MPI群集传递当前波数的计算结果,以降低通信开销。不同类型和规模算例的实验结果表明,该并行方法不仅能够达到与串行方法等同的精度,而且获得了接近线性的加速比。     

面向地震数据处理的并行与分布式编程框架

 本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h 33min 缩减到15min 27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。     

基于OpenACC编程模型的逆时偏移多级并行的设计与优化

OpenCL和CUDA等GPU并行编程模型在波场数值模拟、偏移成像等领域已经得到广泛应用,但二者都破坏原有的串行代码而重新设计并行算法,会增加并行实现的难度和工作量。本文将一种新的GPU并行编程模型OpenACC应用于逆时偏移计算,通过添加编译指令实现节点间/节点内的进程/线程级的多级并行方案,是一种更便捷、高效的异构并行技术。对多级并行的数据通信进行优化,实现了叠前偏移成像的多级异构并行加速。数值实验结果表明文中多级并行方案可以有效地解决逆时偏移计算量大和存储量大的问题;经过数据通信的优化后,可以显著提高逆时偏移的计算效率。     

基于多线程多GPU并行加速的最小二乘逆时偏移算法

最小二乘逆时偏移算法可对地下复杂构造精确成像,但由于计算量大,目前仍难以在实际资料处理中广泛推广应用,因此研究该方法的高效计算策略具有重要意义。结合Pthread标准,提出了多线程多图形处理器(Graphics Processing Unit,GPU)并行加速策略,在共炮点道集域分解计算任务,由多GPU并行计算并实时更新数据;并结合GPU存储器优化方法,调用GPU端共享存储和寄存器等高速存储器,提高波场模拟的计算效率;最终实现了二维空间的时域最小二乘逆时偏移算法大幅加速计算。分别对Marmousi2截断模型和Marmousi模型进行加速成像测试,结果表明:基于多线程多GPU并行加速的最小二乘逆时偏移算法具有普适性;随着数据规模的增加,该方法的加速效率可逐渐逼近线性加速,数据同步延迟小,加速效率显著。     

Kirchhoff叠前时间偏移的GPU移植与性能优化技术

叠前时间偏移在工业生产中发挥着极其重要的作用,为了提高该算法的计算效率,开展了基于GPU异构计算平台的算法移植与优化。首先根据积分法偏移的算法特点制定了偏移距域的多进程数据域并行以及IO与计算异步并行总体并行策略;然后为了提高偏移核心计算部分在GPU上的计算效率,对偏移计算核在GPU上的并行方案进行了分析,选择了成像域超大规模线程并行方案对算法进行了移植和优化,并对不同优化手段在不同GPU硬件平台下获得的性能加速进行了对比测试;最后利用大规模计算节点及大规模地震数据体进行了移植后算法的应用测试,并对算法的计算效率、可扩展性以及精度误差进行了分析。大规模应用测试表明,积分法叠前时间偏移经过GPU移植后可获得较CPU平台近7倍的性能提升,具有很好的工业应用价值。     

叠前正交分解去噪方法

本文介绍一种用于动校正之后多个道集上的叠前去噪方法。若道集内的各道按偏移距排列,则对任一时间T,取同一偏移距区间x_0上的连续N个CMP点的样点,组成N维空间上的一个向量V_(x_0)(N)。每一个偏移距区间x都对应一个向量V_x(N)。这些由不同偏移求得的向量就构成了N维空间上的向量集。应用特征分解方法可求出属于这个向量集的主分量u_1,然后将每个向量V_x(N)投影到主分量u_1上,即可得到较好的去噪效果。     

叠前散射波形态滤波分离方法

对于渤中A凝析气田深层变质岩潜山内幕,常规基于反射波处理的地震资料信噪比低、成像品质差,难以有效预测内幕裂缝储层展布规律。而散射波场信息能够刻画地下非均质地质体,较好地反映潜山内幕裂缝、断裂。为此,提出了一种基于数学形态学滤波的叠前散射波分离方法。通过叠前共炮检距域道集分析,确定散射波与反射波的形态特征差异,即时距关系差异,并利用这一差异构建直线形结构元素,沿空间方向做形态滤波,得到反射波。将反射波从原始波场中减去,就获得了散射波。模型测试结果表明,基于形态滤波的叠前散射波分离方法得到了相对完整的散射波场,散射波提取精度高,有效改善了复杂地质体的成像效果;实际资料应用表明,散射波成像结果提升了潜山内幕裂缝储层表征效果,为渤中A凝析气田井位部署提供了技术支持。     

叠前时问偏移成像质量影响因素探讨

介绍了叠前时间偏移成像技术的理论优势。根据实际资料处理中见到的问题，分析了影响其成像质量的因素，对如何最大限度地发挥叠前时间偏移技术的优势、进一步提高成像精度提出了一些建议。     

iCluster软件叠前时间偏移模块的优化方法

对中国石化石油勘探开发研究院南京石油物探研究所iCluster地震成像软件系统中叠前时间偏移（PSTM）模块进行了性能剖析和调优。PSTM模块中，进程间通讯很少，理论上可以得到很好的加速比和可扩展性。由于存在大量的读写磁盘操作，导致CPU占用率很低，性能变差，一旦磁盘读写性能得到了很好的解决，性能将会大幅提升。此外，还发展了iCluster PSTM模块的多线程和混合并行方法。SMP集群上，通过多线程和混合并行方法不仅可以增加单节点的数据处理量，而且也很好地缓解了PSTM模块各进程对IO的竞争。另一方面，对原始代码中的热点循环进行了优化，实现了对代码的向量化，在某工区数据的测试中，性能提升了36.3%     

A joint high-resolution processing method and its application for thin inter-beds

Seismic processing characterizing thickness and borders of thin inter-beds has gradually evolved from post-stack migration to pre-stack migration, and the latter considers both vertical and lateral resolutions. As the key processing methods for improving vertical and lateral resolution, conventional deconvolution and pre-stack time migration (PSTM) are not simply dominated by the estimation and compression of the wavelet because of its instability. Therefore, considering the variations of wavelet frequency before, during and after PSTM can obtain good common reflection point (CRP) gathers and imaging profiles of thin inter-beds. Based on the frequency characteristics of the wavelet before, during and after PSTM, a joint high-resolution processing method for thin inter-beds is proposed in this paper, including inverse Q filtering for high-frequency compensation before PSTM, optimum weighting Kirchhoff PSTM for preserving high-frequencies during PSTM, and wavelet harmonizer deconvolution for consistent processing and frequency-band broadening after PSTM. An application to real data characterized by mudstone beds in the Oriente Basin proved that the joint high-resolution processing method is effective for determining the thickness and borders of thin inter-beds and is favorable for subsequent reservoir prediction and seismic inversions.     

时间域剩余曲率偏移速度分析技术在iCluster软件中的实现

共成像点道集的剩余曲率偏移速度分析(RCA)是提高偏移速度精度的有效方法之一。通过分析推导Kirchhoff叠前时间偏移共成像点道集的剩余曲率与偏移速度的关系,基于iCluster地震数据处理研发平台,开发了剩余曲率分析法偏移速度分析模块。通过模型数据和实际数据的测试,该模块能够与Kirchhoff叠前时间偏移有机结合,可以对均方根速度场进行局部、定量的修正,完善了iCluster 软件Kirchhoff叠前时间偏移的流程。     

基于GPU计算平台的三维波动方程叠前深度偏移

GPU/CPU协同并行计算是一项全新的、具有革命性的技术,将对地震资料处理行业产生深远的影响。本文在充分发挥GPU存储带宽宽、多寄存器和多处理器结构特点的基础上,通过改进地震成像并行计算模块的核心函数,形成一套波动方程地震成像GPU高效并行算法,并取得理想的加速比和可扩展性。所形成的一套GPU/CPU平台下波动方程叠前深度偏移软件,已投入地震资料处理实际应用。理论模型试算和实际资料的处理验证了本方法的有效性和实用性。