一种基于MPI和OpenMP的剖分遥感影像并行分割方法

随着遥感数据量的快速增长,组织效率和处理速率成为其快捷应用的瓶颈,地球剖分理论和高性能计算为该问题解决提供了一种可能途径。基于上述思路,设计一种基于MPI和OpenMP的剖分遥感影像并行分割方法。该方法在地球剖分组织理论的研究基础上,针对遥感影像数据进行剖分化处理,依据应用需求确定剖分层级,形成有利于并行处理的影像数据剖分面片集合;在MPI集群计算和OpenMP多核任务处理环境下,对上述剖分面片集进行相应操作的并行化处理,最后把处理后的面片整合为所需要的结果数据。通过一个遥感影像数据K-Means分割的例子对上述方法进行验证。结果表明,该方法能在分割结果保持一致的情况下,有效提高遥感影像的组织效率和处理速度,达到了一定的加速比,实用性较强。     

连铸结晶器内控制模型的并行算法

鉴于连铸结晶器内数值模拟计算量大、耗时较长、传统串行算法很难满足现代工业要求的特点,提出了基于MPI的并行算法,该算法通过数据空间分块、各功能模块划分计算的方法对模拟的SIMPLER算法进行并行化。通过在上大自强3000集群高性能并行计算环境下的数值实验表明,该算法取得了较好的并行计算效果。     

基于MPI的大规模栅格影像并行瓦片化算法

当前主流GIS软件以及互联网地图应用在WebGIS（网络地理信息系统）解决方案中都广泛采用地图切片（又称瓦片）,切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术。针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出。实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时,无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。     

数据融合系统中并行目标识别的研究与实现

分析了将情报侦察数据融合系统中目标识别中心并行化的可行性,提出了基于航迹的任务划分策略,采取集中式动态负载平衡技术设计并实现了基于消息传递接口（MPI）的并行目标识别中心。同时给出了Dempster-Shafer证据理论在适当条件下的一种简化形式及其在并行环境下的应用方法。最后给出融合系统并行目标识别中心的性能测试结果,在保证识别可信度的基础上大大提高了处理速度,解决了融合系统的性能瓶颈问题。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

一种基于通用模型的遥感影像并行处理算法——以PCA融合为例

空间应用需求对遥感数据处理的时间和精度提出新的要求,为了高速、高效地解决应用需求,提出一种基于通用模型的粗粒度遥感影像并行处理算法,采用＂分块驱动＂和＂影像处理链驱动＂两种策略进行遥感影像的并行算法设计,并对其进行MPI的实现。利用PCA融合算法在集群平台上进行并行性能测试,分析结果表明该算法在集群系统上获得了良好的视觉效果和近似线性的加速比,具有较好的扩展性和移植性。     

MPI和OpenMP混合并行模型下的遥感编目信息检索

目的 空间位置检索是遥感影像检索中的关键步骤,为进一步提高海量遥感影像编目数据定位检索效率,降低误检率,提出一种基于MPI和OpenMP混合编程模型对射线法进行多层次并行化实现。方法 首先完善传统射线法处理点在多边形边上以及射线与边的端点相交的情况;其次采用MPI实现基于程序层面多机并行,OpenMP实现算法层面单机多线程并行,通过开启多个线程同时处理多边形的各个点,判断它们是否在另一个多边形的内部。结果 当系统中所有节点开启线程数之和等于主节点的最佳线程数时,全局计算速度达到最佳。混合并行算法相比串行算法检索时间减少50%以上,效率更高。结论 MPI+OpenMP混合并行比普通的串行执行、单纯MPI并行或单纯OpenMP并行执行空间定位检索算法效率显著提高,这种并行方案普遍适用于集群环境下的并行程序,并且可以进一步拓展到其他图像处理算法领域。     

基于SOM和PSO的云计算异构资源聚类MPI并行算法

针对云计算环境下大量用户请求同时到来造成的短暂峰值,使得用户的QOS服务需求不能得到有效保证,设计了一种基于MPI并行计算模型和SOM的异构资源聚类方法;首先,设计了一种改进的MPI的树状层次结构模型,然后,定义了基于SOM自组织映射的资源聚类算法,为了提高资源聚类精度,将PSO算法用于SOM的参数优化中,使得SOM在初始时刻就具有一个较好的连接结构;最后,为了充分满足用户请求的QOS需求,将MPI树状层次结构与基于PSO的SOM资源聚类算法相结合,并提出了具体的基于MPI的SOM资源聚类算法;为了验证文中方法,在Matlab仿真环境中进行测试,实验结果表明文中方法聚类精度为100%,且与其它方法比较,具有较高的聚类精度和较少的执行时间,是一种云计算环境下的可行资源聚类方法。     

面向高性能应用的MPI大数据处理

针对消息传递接口（MPI）在高性能计算领域的应用场景,为了优化MPI现有数据集中管理模式,增强其对大数据的处理能力,借鉴并行与分布式系统思想,开发设计一套适用于大数据处理的基于MPI的数据存储组件（MPI-DSP）。首先,创建接口函数,以对MPI系统影响最小的方式实现"计算向存储迁移"的设计目标,将文件分配与计算进行分离,使MPI突破大数据文件读取时的网络传输瓶颈。然后,分析阐述设计目标、运行机制、实现策略,通过描述接口函数MPI_Open在MPI环境下的应用,验证设计理念。通过Wordcount实验对比使用MPI-DSP组件与原MPI在数据文件处理方面的时间性能,初步验证了MPI"计算向存储迁移"模式的可行性,使其具备在高性能应用场景下的大数据处理能力。同时分析了MPI-DSP的适用环境和局限性,界定了其应用范围。     

MPI动态负载平衡策略的研究与实现

集群环境下的并行计算越来越被广泛应用,MPI是集群系统中最重要的编程工具。在并行处理过程中,负载平衡起着很重要的作用,它直接影响到整个算法的效率。文中结合MPI编程环境下的具体特点,提出了基于负载益处估价的方法来判断是否进行任务迁移,给出了负载实时监测和调度的算法,并在每个节点机上间隔性地进行测试。最后在搭建的MPI环境下,运用并行排序方法进行了验证。实验结果表明采用负载前后有了很明显的提高,特别是随着任务量不断增大的情况下提高的效果更加明显。     

Distributed computing model for processing remotely sensed images based on grid computing

With advances in remote-sensing technology, the large volumes of data cannot be analyzed efficiently and rapidly, especially with arrival of high-resolution images. The development of image-processing technology is an urgent and complex problem for computer and geo-science experts. It involves, not only knowledge of remote sensing, but also of computing and networking. Remotely sensed images need to be processed rapidly and effectively in a distributed and parallel processing environment. Grid computing is a new form of distributed computing, providing an advanced computing and sharing model to solve large and computationally intensive problems. According to the basic principle of grid computing, we construct a distributed processing system for processing remotely sensed images. This paper focuses on the implementation of such a distributed computing and processing model based on the theory of grid computing. Firstly, problems in the field of remotely sensed image processing are analyzed. Then, the distributed (and parallel) computing model design, based on grid computing, is applied. Finally, implementation methods with middleware technology are discussed in detail. From a test analysis of our system, TARIES.NET, the whole image-processing system is evaluated, and the results show the feasibility of the model design and the efficiency of the remotely sensed image distributed and parallel processing system.     

遥感影像的高性能并行处理技术研究

随着空间遥感技术和对地观测技术的不断发展,光学、热红外和微波等不同技术手段可以获取同一地区的多种遥感影像数据（多时相、多光谱、多传感器、多平台和多分辨率等）,每天获取的遥感数据量越来越大。同时,大量的遥感应用需要快速地对这些遥感数据进行处理与分析,提供辅助决策信息。因此,如果不能及时进行数据处理,这些数据就会失去时效性,甚至失去数据本身的价值。高性能计算与并行处理技术,加速了遥感影像数据处理与信息提取的进度,如大规模多处理系统、网格与云计算技术、通用图形处理器（GPGPU）等。文中综述了高性能计算、并行处理及云计算技术应用于遥感领域的最新进展,给出了一些研究与应用范例,并提出了当前高性能遥感影像处理所面临的一些挑战。     

面向剖分面片模板的遥感影像并行处理方法

空间数据特别是遥感影像数据的快速增加和应用需求的扩大,其组织效率和处理速度已经成为制约技术应用的瓶颈,地球剖分理论和高性能计算为上述问题解决提供了一种可能途径。针对上述问题,在遥感影像剖分面片数据模型的研究基础上,提出了剖分面片模板并行计算模式,设计并实现了一种面向剖分面片模板的遥感影像并行处理方法;该方法基于MPI（Message Passing Interface）与OpenMP（Open Multi-Processing）混合并行计算框架,构建算法并行处理模型,形成算法并行化类库,通过调用其内部方法实现计算任务的并行执行。通过一个遥感影像剖分化并行分割处理实例,验证了该方法的有效性。实验结果表明,该方法具有较好的分割效果和加速比,有一定的示范意义,为进一步提高遥感影像应用能力提供了借鉴。     

基于集群计算机的海量航空数码影像并行处理 ——并行计算在航空数字摄影测量中的应用

航空数码影像的获取频率越来越快,同时数据量也越来越大,传统的基于串行计算的影像处理方式已很难满足高效率的生产需求和快速响应,因此必需采用并行计算来提高数据处理的效率。论述了一种基于集群计算机系统的海量航空数码影像并行处理方法,介绍了并行计算在航空数字摄影测量中的应用,并结合数字摄影测量原理和并行处理技术,提出了一种可满足快速响应需求的无控制影像镶嵌图快速制作方法。生产实践验证了并行方法的可行性和高效性,生产效率比传统数字摄影测量工作站提高了3-10倍。     

基于多核计算机的遥感影像多尺度分割

多尺度分割作为一种成熟的影像分割方法,在遥感影像信息提取中得到广泛应用,但算法整体效率较低。利用多核计算机实现了基于数据并行的遥感影像多尺度分割。传统的影像IO(Input and Output)方法在影像数据量较大的情况下无法满足多核计算机并行处理的需要,设计了一种新的影像IO策略消除了这种缺陷;此外,在遥感影像多尺度并行分割的过程中,普遍存在分割结果无法直接进行合并的问题,利用对特定区域重分割的方法在保证效率的前提下解决了这个问题。结果表明:针对各种数据量与尺寸的遥感影像,并行分割效率有了较大提升,并且分割算法具备了处理大数据量影像的能力,极大地增强了通用性。利用多核计算机提升影像分割效率取得了显著成效。     

A new algorithm for remotely sensed image texture classification and segmentation

In this paper, we propose a new algorithm for remotely sensed image texture classification and segmentation. We observe that the traditional method least square error (LSE) is unstable in practical applications. This motivates us to develop a more stable method. We have proposed the regularization technique to suppress the instability of LSE in previous research. Our contribution in this paper is that we propose a new stable method, which is based on the total variation (TV) for reducing instability in texture analysis, and apply it to remotely sensed image texture classification and segmentation. Experimental results on remotely sensed images demonstrate that our new algorithm is superior to LSE and seems promising in applications.     

基于互信息的遥感图像区域配准并行算法的研究与实现

图像配准是图像融合、变化检测、目标识别等遥感应用中的重要步骤。互信息由于具有无需预处理、自动化程度高以及鲁棒性强等特点,将其作为一种相似性测度进行图像配准成为近几年图像处理领域的研究热点。随着遥感图像数据量的不断加大,传统的单机处理模式已经无法满足一些应用的时效性要求。基于对串行算法计算瓶颈的实验分析,研究并提出了一种基于互信息的遥感图像区域配准并行算法,分别给出了数据划分策略和互信息计算并行处理方案,采用边界冗余划分和二叉树归约方法减少数据通信,并对算法进行了定量的复杂度分析。实验结果表明该算法可扩展性好,通用性强。     

多时相遥感影像变化检测系统设计与实现

针对遥感卫星影像数据量大,计算时间长等特点,在高性能集群并行处理环境下,研究了长时间序列遥感卫星影像变化信息快速提取技术,设计并实现了一体化变化检测工艺流程及系统框架,为多时相遥感卫星影像变化检测提供了高精度、快速的方法与平台。以广东某地区为试验数据,研究表明,与传统变化检测方法相比,进一步提高了变化信息提取精度,并可以获得良好的并行加速比,并行效率高,能够满足大规模遥感数据的变化检测。     

基于OpenCL的JPEG压缩算法并行化设计与实现

随着图像数据的大量增加,传统单处理器或多处理器结构的计算设备已无法满足实时性数据处理要求。异构并行计算技术因其高效的计算效率和并行的实时性数据处理能力,正得到广泛关注和应用。利用GPU在图形图像处理方面并行性的优势,提出了基于OpenCL的JPEG压缩算法并行化设计方法。将JPEG算法功能分解为多个内核程序,内核之间通过事件信息传递进行顺序控制,并在GPU+CPU的异构平台上完成了并行算法的仿真验证。实验结果表明,与CPU串行处理方式相比,本文提出的并行化算法在保持相同图像质量情况下有效提高了算法的执行效率,大幅降低了算法的执行时间,并且随着图形尺寸的增加,算法效率获得明显的提升。     

基于LOD的海量地形数据并行渲染技术

随着地球空间信息技术的发展,建立具有海量空间数据的大规模虚拟地形场景越来越重要. 然而,面对海量的地形数据,如何简化地形,提升绘制与渲染效率,是地形渲染的关键. 本文对LOD地形渲染技术、大规模数据集的分析与处理、并行计算等相关技术进行了研究,提出了基于LOD的海量地形数据并行渲染技术. 该技术首先使用LOD四叉树简化地形,其次结合多核CPU并行计算的方法提升效率,最后结合大规模数据调度策略,实现了海量地形数据的并行渲染,并分析对比了非并行和并行情况下的实验结果. 本文所取得的理论与技术方面的成果可为大规模场景渲染提供新的技术思路.