面向Spark的遥感影像金字塔模型的并行构建方法

随着遥感技术和摄影测绘的发展,遥感影像的分辨率不断提高,数据量日益增长,这对快速、高效地处理海量遥感影像数据提出了更高的要求,如何有效、智能地存储和处理海量遥感数据成为研究的热点。在分析现有金字塔模型的并行构建的基础上,设计一种面向Spark计算框架的影像金字塔模型。模型给出了影像金字塔构建算法及影像数据的分布式存储组织结构,实现了海量遥感影像数据在Spark中的并行处理,为Spark增加了计算处理空间数据格式的能力。实验结果表明,利用该方法能够在Spark云平台上实现快速、高效的解决海量遥感影像金字塔的并行构建,特别是在面对海量遥感影像数据时,无论从金字塔构建性能上还是遥感影像的计算效率上,Spark都更具优势。     

影像数据分布并行计算处理平台体系架构研究

遥感影像数据并行处理系统大多依赖于国外商用产品,而国内自主化并行计算处理系统的任务流程化支撑能力以及并行计算性能难以适应规模化生产。为此,基于Hadoop的HDFS,MapReduce集群并行架构、CPU和GPU协同并行处理、内存映像、BMP等技术,提出流程驱动执行的高性能分布式并行计算处理平台体系架构。实验结果表明,工作站集群和工作站内多粒度混合的并行计算架构提高了平台并行处理性能,为海量遥感影像数据产品的批量生产提供一种自主化解决方案。     

低功耗异构计算架构的高光谱遥感图像分类研究

高光谱图像分类算法通常需要逐点对图像中的像素点进行迭代处理,计算复杂度及并行程度存在较大差异。随着高光谱遥感图像空间、光谱和辐射分辨率的不断提升,这些算法无法满足实时处理海量遥感图像数据的需求。通过分析NPU存储计算一体化模式与遥感图像分类算法的实现步骤,设计低功耗CPU+NPU异构资源计算架构的低秩稀疏子空间聚类（LRSSC）算法,将数据密集型计算转移至NPU,并利用NPU数据驱动并行计算和内置AI加速,对基于机器学习算法的海量遥感数据进行实时分类。受到big.LITTLE计算范式的启发,CPU+NPU异构资源计算架构由8 bit和低精度位宽NPU共同组成以提高整体吞吐量,同时减少图网络推理过程中的能量损耗。实验结果表明,与CPU计算架构和CPU+GPU异构计算架构的LRSSC算法相比,CPU+NPU异构计算架构的LRSSC算法在Pavia University遥感数据集下的计算速度提升了3~14倍。     

全球卫星遥感影像数据组织与WEB发布

在影像数据应用需求急速增长的前提下,对日益庞大的卫星遥感影像数据进行有效管理和发布成为了迫切需要解决的问题。根据海量影像数据和Web的特点,重点探讨了全球卫星遥感影像的多分辨率金字塔模型、海量影像数据的索引设计和调度机制,构建了全球卫星遥感影像数据管理发布引擎,最后基于上述方法和手段实现了能同时满足不同访问接口的全球卫星遥感影像数据的Web高效通用发布系统。     

海量遥感影像数据存储技术研究

介绍现有海量遥感影像数据的存储管理方式及其存在的不足,研究基于分布式文件系统的海量遥感影像数据存储技术,通过研制的D—MaRISS系统,说明所采用的分布式文件系统的结构和影像数据的组织方式。实验表明,该技术能高效地实现对海量遥感影像数据的存储管理。     

一种基于文件系统的海量遥感影像存储组织结构

针对传统数据库技术在管理海量遥感影像数据方面存在的不足,本文提出了一种基于文件系统的海量遥感影像存储组织结构,该结构能够快速检索影像数据.     

农业旱灾遥感监测系统中的MODIS 1B影像几何校正方法及其比较研究

为了满足农业旱灾遥感监测对海量MODIS影像数据的自动化快速处理需要,本文针对现有的四种几何校正坐标变换方法(仿射变换法、多项式变换法、三角网算法和改进三角网算法),结合农业旱灾遥感监测系统,在IDL(Interactive Data Language)平台上开发了MODIS影像数据的自动快速几何校正运行程序,以便比较分析这些算法的几何校正精度、影像处理时间和计算机内存开销大小.结果表明,基于三角网改进算法的几何校正程序在各方面都比较优秀,不仅几何校正精度较高,而且图像处理较快,内存用量也较小,完全能够满足农业旱灾遥感监测的实时海量图像数据处理需要.因此,我们在农业旱灾遥感监测系统中采用了这一算法,作为实时自动快速处理海量MODIS影像数据的重要模块.     

基于三维地球的海量遥感影像高效可视化管理系统的设计与实现

针对数量日益增长的多源、异构遥感影像组织与管理问题,在分析遥感影像特点的基础上,设计并实现了海量遥感影像高效可视化管理系统。研究了系统的组织架构,借助三维地球技术,提升系统的可操作性与视觉体验;采用元数据库技术,实现海量、多分辨率遥感影像的统一、快速查询、检索与定位;通过遥感影像缩略图、金字塔模型和线程池机制,提高遥感影像读取及可视化显示的效率。最后,完成了基于三维地球的遥感影像可视化管理系统的功能集成,实现遥感影像的多种管理模式和多层次需求。在此基础上,在实际工程应用中为海量遥感影像的分发服务提供有力的技术保障。     

数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点. 遥感数据具有多源化、海量化特点,是名副其实的大数据. 研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法. 在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以“5并行1加速”的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试. 结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.     

遥感数据分发系统单队列控制模式的设计与实现

鉴于遥感单一影像文件大、总体数据海量的特点,针对如何保证遥感数据分发系统能有序、规范、高效地为各行业用户提供共享数据问题,对遥感数据分发系统的硬件部署框架结构进行分析,提出一种基于固定容量的单队列控制模式解决方案,并对其进行实现.通过单队列控制模式的控制流程及策略,系统稳定并可靠地完成了数据分发任务,最终保证了系统的运行性能和数据的传输质量,满足了用户对遥感影像的获取需求.