通用遥感卫星快视处理系统技术研究

分析了各国遥感卫星传输格式复杂、多样的特点,针对由此而带来的记录系统快视处理和成像部分开发研制上的扩展性、可复用性较差的问题,开展了通用遥感卫星快视处理系统技术的研究。本文提出了一种通用快视数据格式、数据格式转换处理的方法,以及实现了通用多功能成像显示技术,并通过模拟多颗卫星数据以原码速率回放的手段,验证了快视系统设计的正确性。     

基于FPGA的遥感数据采集与快视系统

提出了一种基于现场可编程门阵列（FPGA）的实时遥感卫星数据采集与快视系统的设计方案,该方案充分利用FPGA的硬件资源简化逻辑设计,并采用总线复用技术和内存映射文件的方法实现了采集和快视的实时并行处理以及海量数据的高速存取。     

基于B/S结构的远程台站设备状态及快视数据监视系统技术研究

针对在未来三年内,中国遥感卫星地面站将新建新疆喀什、海南三亚两个接收站,且与北京密云接收站一起构建"三站一体"的接收站网,从而形成全面覆盖国土陆地面积的数据接收能力,在中国遥感卫星地面站"三站网"建设的背景下,结合实际情况,对遥感卫星地面接收系统硬件设备状态以及实时接收的卫星快视数据进行远程监视的相关技术进行了深入研究,重点分析了所涉及的关键技术,基于B/S结构提出了一套解决方案.本系统的提出,对地面站地面观测网的运行是一个必要的探索,同时也是一个良好的补充.     

基于DirectDraw的遥感卫星移动窗设计

DirectDraw是基于Windows操作系统的高级多媒体接口.在高速海量遥感卫星的数据接收记录过程中,需要流畅无闪烁的实时移动窗显示.文中介绍了利用DirectDraw技术实现高质量实时移动图像显示的方法和基本过程,并根据该方法实现了遥感卫星接收记录过程中的移动窗快视设计,达到了良好的运行效果,解决了在遥感卫星记录系统中存在的实时图像处理关键技术问题.     

卫星遥感及图像处理平台发展

航天科技是国家综合国力和科技实力的重要体现,而卫星遥感则是航天科技转化为生产力最直接、最现实的途径之一。遥感数据获取与分发、数据处理与信息提取是卫星遥感应用的两个基本步骤。随着国家民用空间基础设施规划中的遥感卫星体系稳步推进,以及商业卫星遥感的蓬勃发展,我国的卫星遥感数据获取能力呈现质量齐升之势。但同时,作为卫星遥感应用的基础设施和关键工具,遥感图像处理系统平台逐渐成为制约自主卫星数据应用和空间信息业务发展的重要因素之一。本文围绕卫星遥感对地观测主题,从卫星遥感数据获取能力、卫星遥感数据处理系统平台两方面,对国内外现状进行综述,在此基础上分析了卫星遥感的发展趋势。     

遥感图像星上智能处理地面仿真模拟系统设计与实现

传统卫星遥感应用模式复杂繁长,无法满足用户越来越关注的实时化遥感服务需求,为卫星配备智能化大脑,一方面可以降低数据传输带宽,另一方面可以提高数据获取的时效性,因此,星上智能处理已经成为遥感卫星发展的必然选择。但星上处理在轨调试困难,现有遥感卫星星上处理平台的地面测试系统都是卫星实验室测试时,针对不同的卫星载荷临时组建,缺乏通用性且并未形成集成化的装置,导致现有遥感图像星上智能处理的地面测试效率偏低。尤其是面对目前星上处理智能化的新需求,缺乏一套高性能、低功耗、全流程的星上处理地面仿真系统。针对遥感数据处理自动化与智能化发展的新特点,提出了一套基于FPGA与GPU相结合的遥感图像星上处理地面仿真模拟系统。该系统能够在地面模拟实现多种载荷的0到1级数据预处理,在预处理的基础上实现智能遥感影像的加速识别,其关键难点在于遥感图像智能处理算法的高计算复杂度和嵌入式计算机有限计算力之间的平衡;遥感图像处理领域的AI专用算法固化和硬件加速之间的平衡;不同卫星平台测试需求和系统架构通用性之间的平衡。本文阐述了仿真平台设计的方法,构建了基本原型并对其进行了验证。测试结果表明：该系统可以较好地完成星上智能处理典型算法地面全流程测试,所有硬件可以直接上星组装,完备度高,对优化和指导卫星地面仿真系统运行管理体系具有一定的参考价值。     

中国遥感地面站对SPOT数据处理的扩充

中国遥感地面站为了兼容处理法国 SPOT 卫星系列的数据,正在进行扩充。本文介绍了扩充系统的设计、结构与特性。本系统将设计成一个硬件定向系统,利用若干专用的处理机来执行主要的计算任务,而主机仅仅是管理、监督各个处理机的工作。在该地面站,数据流与图象数据的处理将在两个专用的处理机上进行,即前端处理机(FEP)和后端处理机(B     

遥感图像实时宽幅显示技术研究与实现

分析了遥感图像显示的发展和需求,给出了一种基于DirectDraw接口、硬件调色板技术实现图像实时、宽幅显示的方法.采用该方法,结合某卫星遥感实时快视系统,实现了双屏实时遥感图像显示.     

黄河下游河势遥感监测系统建设分析

为提高黄河下游河势遥感监测能力,提升河势遥感监测服务水平,深入探讨黄河下游河势遥感监测的现状和存在的问题,提出黄河下游河势遥感监测系统的建设目标及思路。通过充分整合卫星遥感、黄河水利对象等相关数据,最大程度地共享现有数据资料和软硬件资源,设计开发黄河下游河势遥感监测系统,包括卫星遥感数据传输通道建设、遥感数据处理软硬件和存储设施建设、河势信息解译和服务功能开发,以及河势信息数据库建设等。结果表明：黄河下游河势遥感监测系统的建设可强化黄河河势遥感监测的数据计算与存储服务能力,提升河势信息解译的自动化水平,实现河势遥感监测工作的数字化及河势信息服务的高效化,具有很好的推广应用前景。     

遥感卫星地面接收系统业务能力评估

随着航天事业的快速发展,遥感卫星的发射数量越来越多,遥感卫星地面接收系统面临着快速、稳定的接收新发射卫星下传数据的迫切需求。在此背景下提出了一种遥感卫星地面接收系统业务能力的评估方法,建立基于AHP的业务能力评估指标体系。结合业务特点,阐述了系统单机状态评估模型、系统业务能力评估模型并确定了各级因素的影响权重。实例分析结果表明,此评估方法能够快速确定遥感卫星地面接收系统对于某遥感卫星数据接收业务能力状态,给出系统最小化改进指引,对系统资源的利用及优化提供了可行性建议。     

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

流式处理系统的动态数据分配技术

流式数据处理中,数据倾斜等原因易导致计算节点的负载不均衡,降低系统处理能力。传统的负载均衡方法,比如算子分配、算子迁移和负载脱落等技术因为相对较高的性能代价,在流式处理系统中没有得到广泛的应用。针对流式处理系统的特点,提出一种新的负载均衡方法。在该方法中,计算单元的数据被划分为若干分区,并且数据分区可以在计算单元中动态分配和迁移,在较少干扰系统运行的情况下,通过动态调整各计算单元的分区,平衡各个计算单元的输入流和利用率,以此达到负载平衡的目的。在此基础上,设计并实现了流式处理系统的负载均衡算法和数据在线迁移技术。实验结果表明,该方法能够显著减少数据处理的平均延迟,提高系统吞吐量。     

遥感影像的高性能并行处理技术研究

随着空间遥感技术和对地观测技术的不断发展,光学、热红外和微波等不同技术手段可以获取同一地区的多种遥感影像数据（多时相、多光谱、多传感器、多平台和多分辨率等）,每天获取的遥感数据量越来越大。同时,大量的遥感应用需要快速地对这些遥感数据进行处理与分析,提供辅助决策信息。因此,如果不能及时进行数据处理,这些数据就会失去时效性,甚至失去数据本身的价值。高性能计算与并行处理技术,加速了遥感影像数据处理与信息提取的进度,如大规模多处理系统、网格与云计算技术、通用图形处理器（GPGPU）等。文中综述了高性能计算、并行处理及云计算技术应用于遥感领域的最新进展,给出了一些研究与应用范例,并提出了当前高性能遥感影像处理所面临的一些挑战。     

智能遥感：AI赋能遥感技术

随着人工智能的发展和落地应用,以地理空间大数据为基础,利用人工智能技术对遥感数据智能分析与解译成为未来发展趋势。本文以遥感数据转化过程中对观测对象的整体观测、分析解译与规律挖掘为主线,通过综合国内外文献和相关报道,梳理了该领域在遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘以及遥感开源数据集和共享平台等方面的研究现状和进展。首先,针对遥感数据精准处理任务,从光学、合成孔径雷达等遥感数据成像质量提升和低质图像重建两个方面对精细化处理研究进展进行了回顾,并从遥感图像的局部特征匹配和区域特征匹配两个方面对定量化提升研究进展进行了回顾。其次,针对遥感数据时空处理与分析任务,从遥感影像时间序列修复和多源遥感时空融合两个方面对其研究进展进行了回顾。再次,针对遥感目标要素分类识别任务,从典型地物要素提取和多要素并行提取两个方面对其研究进展进行了回顾。最后,针对遥感数据关联挖掘任务,从数据组织关联、专业知识图谱构建两个方面对其研究进展进行了回顾。除此之外,面向大智能分析技术发展需求,本文还对遥感开源数据集和共享平台方面的研究进展进行了回顾。在此基础上,对遥感数据智能分析与解译的研究情况进行梳理、总结,给出了该领域的未来发展趋势与展望。     

一种分布式数据流系统负载平衡算法

分布式数据流系统中,当输入数据流速发生较大波动时,会引起部分节点过载,从而影响整个系统的数据处理能力。针对这个问题,该文分析了分布式数据流系统的特点以及现有负载平衡算法的局限性,提出了一种利用多层重叠结构进行负载信息收集和负载分配的平衡算法。该算法利用虚拟树形结构进行负载信息的收集和负载分配,具有较好的扩展性能。以环形虚拟结构中保存的节点相对位置信息为依据进行负载移动,从而有效降低系统的响应时间。实验结果表明该算法具有良好的负载平衡能力和一定的应用价值。     

基于MPI并行计算的卫星遥感数据变化监测系统设计

为控制卫星遥感数据变化指征与非变化指征之间的实值误差,实现对卫星遥感数据传输变化行为的准确监测,设计基于MPI并行计算的卫星遥感数据变化监测系统。建立A/D转换电路与Zigbee网络节点的匹配关系,将所得卫星遥感数据按需分配给传感器模块与协调器设备,完成数据采集与监测终端的硬件设计。按照并行拓扑结构连接形式,实施MPI的基本调用,再联合数据进程编写原则,实现对MPI并行计算的完善。根据传感器几何校正原理,求取遥感数据度量值,再分析核函数表达式,完成对卫星遥感数据的处理。利用MPI并行计算,控制数据采集与监测终端的硬件执行设备,完成卫星遥感数据变化监测系统设计。实验结果表明,所设计系统的卫星遥感数据变化指征与非变化指征之间的实值误差明显缩小,能够准确监测卫星遥感数据传输变化行为。     

一种基于Hadoop的高分辨率遥感图像处理方法

随着海量、多源的高分辨率遥感数据的获取,耗时较多、效率低下的传统处理方式已经不能满足用户需求。针对上述问题,提出了一种基于云计算的高分遥感数据处理框架,利用Hadoop技术设计和改进了Meanshift图像边缘分割算法,并在Hadoop环境下进行了仿真实验。实验结果表明,在Hadoop环境下的高分辨率卫星图像数据处理速度有了明显的改善。     

QAAS: quick accurate auto-scaling for streaming processing

In recent years, the demand for real-time data processing has been increasing, and various stream processing systems have emerged. When the amount of data input to the stream processing system fluctuates, the computing resources required by the stream processing job will also change. The resources used by stream processing jobs need to be adjusted according to load changes, avoiding the waste of computing resources. At present, existing works adjust stream processing jobs based on the assumption that there is a linear relationship between the operator parallelism and operator resource consumption (e.g., throughput), which makes a significant deviation when the operator parallelism increases. This paper proposes a nonlinear model to represent operator performance. We divide the operator performance into three stages, the Non-competition stage, the Non-full competition stage, and the Full competition stage. Using our proposed performance model, given the parallelism of the operator, we can accurately predict the CPU utilization and operator throughput. Evaluated with actual experiments, the prediction error of our model is below 5%. We also propose a quick accurate auto-scaling (QAAS) method that uses the operator performance model to implement the auto-scaling of the operator parallelism of the Flink job. Compared to previous work, QAAS is able to maintain stable job performance under load changes, minimizing the number of job adjustments and reducing data backlogs by 50%.