一种支持多任务高效处理的遥感产品生产线架构研究

为了满足海量遥感数据产品的快速生产需求,尤其需要解决海量遥感影像数据的高效处理问题,即改变效率低、生产耗时长、计算资源利用率低等现状.通过分析遥感影像数据特点和遥感产品生产处理过程,采用集群并行计算技术,结合分布式数据存储和高效的任务调度策略,设计和实现一种支持多任务的遥感产品生产线架构.实验结果表明,该架构能够缩短生产时间,提高计算资源利用率,在性能上能够满足业务化生产的要求.     

一种灵活高效的遥感影像金字塔构建算法

为了实现遥感影像的网络快速发布,构建影像金字塔存储模型是普遍采用的方法。但传统的影像金字塔构建算法在效率和适用性方面都存在诸多不足。针对问题,本文给出了一种灵活高效的影像金字塔模型的构建算法,影像的切割与重采样均在内存中运算完成,尽可能地减少I／O操作,从而提高其执行效率。算法中用到的参数用户都可根据实际需要进行定制,从而提高了算法的灵活性和可操作性。在Visual C＋＋2005中对算法进行编程实现。实践证明该算法高效、易用,为遥感影像的网络快速发布提供了基础和保障。     

全球卫星遥感影像数据组织与WEB发布

在影像数据应用需求急速增长的前提下,对日益庞大的卫星遥感影像数据进行有效管理和发布成为了迫切需要解决的问题。根据海量影像数据和Web的特点,重点探讨了全球卫星遥感影像的多分辨率金字塔模型、海量影像数据的索引设计和调度机制,构建了全球卫星遥感影像数据管理发布引擎,最后基于上述方法和手段实现了能同时满足不同访问接口的全球卫星遥感影像数据的Web高效通用发布系统。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.     

基于QT、GDAL处理遥感影像GeoTIFF数据的应用

GeoTIFF图像格式可以存储各种地理信息,因此在遥感图像领域应用十分广泛.但随着遥感影像的数据量迅速增长,如何提高对海量影像数据调度及显示成为急需解决的问题.本文利用开源库GDAL实现了对海量遥感影像GeoTIFF格式文件的地理信息读取,通过建立图形金字塔的方式对影像数据进行快速索引,最后利用跨平台QT语言开发,实现GeoTIFF格式文件在各种不同操作系统下放大、缩小及全屏显示.     

TB级多源遥感影像高效建库方法研究

随着各领域对多源遥感影像数据需求的不断增加,如何高效地管理多源海量遥感影像数据,更好地为各行各业服务是遥感数据库研究的热点。目前国内外很多学者在建设多源遥感影像数据库方面进行了相关研究,但对多源遥感影像数据组织、遥感影像数据预处理以及快速索引方面的研究尚存在不足。设计了一种多源遥感影像数据组织模型,实现了多源影像的集成化管理;实现了一种多源海量原始遥感影像(特别是航空影像)的半自动预处理机制,极大地缩短了原始影像数据的处理时间;设计了一种混合检索方法,达到了海量多源遥感影像数据快速高效检索的目的。结果表明:该方法建库效率显著提高,混合索引的查询速度比ArcSDE自动创建的空间索引检索速度有了快速提高,在数据量较小时查询速度至少可以提高4倍,而数据量较大时检索速度至少可以提高12.83倍。     

基于Apache Spark的MODIS海表温度反演方法

为应对海量遥感影像快速计算的需求,通过对影像获取、算法和计算过程优化和改进,提出了一种基于Apache Spark并行计算框架的MODIS海表温度反演方法,实现了海量MODIS遥感影像的海表温度快速反演.应用四轮网络查询请求获取特定的时空范围影像数据,提高影像获取阶段的效率;应用简化算法参数、拟合过程变量改进海表温度劈窗算法,使之适合快速并行计算;应用弹性分布式数据集（RDD）窄依赖关系的优点,避免并行计算中的数据交换延迟.通过单机模式与集群模式对比实验,发现集成了并行计算框架的集群模式影像处理效率约为单机模式的10倍.研究结果表明了融合集群计算技术的海表温度反演过程有效提高了传统单机应用程序的处理效率.     

基于网格环境的遥感图像并行分类

随着遥感技术的发展,高分辨率大容量遥感数据的应用,对图像处理效率提出了更高的要求。网格计算因具有分布式、高性能和充分的资源共享性,为海量遥感图像的处理提供了有效的解决途径。针对遥感图像分类,提出基于网格环境的遥感影像并行模型,分析构建此模型的网格服务机制,设计网格服务及任务调度的算法流程。搭建网格实验测试平台,采用封装的SVM分类服务,实现了遥感图像并行分类处理。实验结果及分析表明,测试平台实现了网格环境下的遥感图像并行分类的架构,有效提高大容量遥感数据的分类效率,为分布式并行处理遥感图像提供了有效的途径。     

基于Spark的并行Eclat算法

通过对Spark大数据平台以及Eclat算法的深入分析,提出了基于Spark的Eclat算法(即SPEclat)。针对串行算法在处理大规模数据时出现的不足,该方法在多方面进行改进：为减少候选项集支持度计数带来的损耗,改变了数据的存储方式;将数据按前缀进行分组,并划分到不同的计算节点,压缩数据的搜索空间,实现并行化计算。最终将算法结合Spark云计算平台的优势加以实现。实验表明该算法可在处理海量数据集时高效运行,并且在面对数据量大规模增长的情况下,具备良好的可扩展性。     

Hadoop下海量遥感数据的处理

随着我国空间技术科学的发展,遥感数据正以指数级增长,由于遥感数据的地理信息特征,海量遥感数据的存储和处理成了近年的研究热点,本文采用在商业上取得出色成绩的hadoop云计算平台来对海量遥感数据进行并行化处理,完成了系统并行性能测试与分析,结果表明利用hadoop对海量遥感数据的并行化处理的可行性,并且还能满足海量遥感数据并行处理效率要求和高可用性。