基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

多重索引加时间戳校正的科学卫星源包排序法

卫星载荷数据源包的排序还原是地面数据处理流程中的重要环节,其正确性和完备性直接影响基于数据开展的科学研究.在对国际现行CCSDS标准下的卫星数据组织和星地数传机制可能给地面数据处理带来的数据异常情形与源包排序挑战进行剖析的基础上,提出了\"多重索引+时间戳校正\"的源包排序方法,不仅能够解决由于空间科学卫星数据采集频率极快...     

基于GBDT的卫星工程参数异常检测

卫星及其载荷的在轨运行异常诊断是卫星高效安全运行的重要支持,发展智能、高效的卫星异常检测方法,是卫星地面系统的研究焦点之一.在我国空间科学先导专项系列卫星任务的应用背景下,根据空间科学卫星的数据特性与异常形态,基于梯度提升决策树(gradient boosting decision tree,GBDT)原理构建卫星工程...     

XML数据的结构化处理方法

越来越多的数据采用XML格式表示和交换,对XML数据的有效访问方法是目前需要解决的关键问题之一．对通过面向对象数据库系统访问XML数据的方法进行了讨论,提出了将XML数据映射到对象模型的规则以及建立XML数据的OODB模式的方法．为了建立高效地访问路径提出了一种XML数据的结构索引,并介绍了利用结构索引实现基本的数据操作的方法．实验结果表明,提出的方法具有较高的效率。     

基于工作流的小卫星自动化测试系统设计方法研究

介绍了基于工作流的小卫星自动化测试系统的设计方案,通过分析卫星综合测试的基本流程和当前卫星研制过程中对自动化测试的迫切需求,提出构建卫星自动化测试系统的技术方案,具体介绍了自动化测试系统组成,详细说明了五大模块包括自动化测试模块、遥测数据管理模块、分系统管理模块、遥控指令管理模块、参数自动化监视模块、测试控制台模块的功能特点;还分析了适应小卫星批量化研制,卫星自动化测试技术下一步主要发展方向;旨在介绍一种当前国内先进的小卫星测试系统的构建模式以及自动化测试在卫星综合测试过程中所起到的举足轻重的作用.     

多维数据索引结构回顾

一、引言最初,多维数据库主要用于计算机图形学、地理信息系统等。现在,多维数据库的应用扩展到医学图像处理、计算机视觉和多媒体数据库等领域。尤其是在多媒体数据库中,对多媒体对象的描述更加复杂,例如:对图像来说,常用颜色直方图、主色调、Tamura纹理等特征描述图像;对文本来说,常用矢量空间模型来描述文档;对视频来说,常用颜色、纹理、形状和运动等特征来描述视频镜头。但是,不管采用哪一种描述方法,都需要用多维空间中的点、线段或区域等来表示这些多媒体对象。很多实际应用需要从多维数据库中快速查找到特定数据,例如:在图像数据库中查找与给定图像最相似的图像;在地理信息系统中需要查找离某个城市最近的河流。为了支持这些快速查找操作,必须借助高效索引结构。由于传统数据索     

遥感卫星数据获取与处理关键技术概述

以往的文献中,对遥感卫星数据处理中部分环节所涉及到的算法、过程及效果有过一些介绍,对遥感数据的应用方法的描述和分析更是屡见不鲜,但对于遥感卫星数据获取和处理全过程的介绍以及在这个过程中涉及到的关键技术的描述则较少.本文在着眼国内外主要遥感卫星的基础上,对遥感卫星数据获取与处理的主要工作环节进行回顾,对所涉及到的主要关键技术进行总结,以形成对遥感卫星数据获取与处理全过程的了解和掌握.     

空间科学实验图像数据接收处理方法研究

针对空间科学实验设备在系统体积、功耗、可靠性、环境适应性等方面的特殊要求,本文探讨将JPEG图像信息插入视频码流中共用同一信道进行传输的方法,设计了基于PC/104工业总线标准的数据接收系统完成SPI接口串行数据至ISA接口8位并行数据的传输,在进机处理过程中实现图像数据抽取和恢复,并对视频编解码芯片相关的起始码竞争问题进行了修正。     

基于流式计算的遥感卫星数据快视处理方法

随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高,现有遥感卫星快视处理系统的处理负载增大,实时性要求越来越难以满足。针对这些问题,采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上,应用Storm框架对现有系统进行并行优化,设计遥感数据流处理任务拓扑结构,同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明,该系统在数据吞吐率和可靠性方面测试效果良好。     

SEGY地震数据自适应快速索引处理

随着油气田勘探技术的不断进步,勘探精度越来越高,产生物探地震成果数据量也越来越大.一个工区成果动辄几个TB甚至几十个TB,而这些成果数据中90%以上为SEGY格式地震数据体、如果采用常规方法对文件依次遍历,耗费资源且效率低,结合地震数据体的特性建立相匹配的索引将极大的提高数据遍历及提取的效率与速度.通过分析国内外地震数据管理现状和发展趋势,结合油田地震资料管理现状,设计和研发一套地震SEGY数据体自适应快速索引生成技术,已实现工业化应用.     

面向科学过程的工作流技术研究现状与趋势*

介绍了科学工作流技术的起源及发展,分析了科学工作流全生命周期组成及关键技术,主要包括流程建模与描述、流程映射、流程执行与调度以及数据起源管理这四个方面的发展状况,从科学工作流管理系统框架、协同技术和应用现状等方面分析了科学工作流技术的研究现状,分析了目前科学工作流技术中存在的不足,并对其未来发展趋势给出了建议。     

基于科学工作流的空间数据处理技术探讨

首先介绍了与地理空间数据处理相关的科学工作流技术,并与传统商业工作流技术作对比,然后以Kepler项目为例说明科学工作流技术在空间数据处理领域的应用,最后讨论目前存在的问题并给出了结论。     

存储资源受限时的数据密集工作流调度算法

针对数据密集型科学工作流需要大量的数据传送和数据存储的问题,在执行节点可用存储资源受限的情况下,构造计算作业与数据作业分离的工作流模型,设计数据与计算分离后的工作流生成算法,增加数据转送作业、数据清除作业、数据作业及其依赖关系。给出资源受限情况下数据密集工作流的预估存储调度算法,并对其进行系统评价,取得了较好的效果。     

可定制工作流管理系统设计中的数据处理

随着工作流管理系统的广泛应用,其可定制性要求相应的也越高,组件化是可定制的先决条件,而数据的可分割性是组件化的前提。在给出的一个可定制工作流管理系统的逻辑结构的基础上,对系统中的数据进行了划分和结合实际系统的详细阐述,并给出了数据的一致性保护的几种模式。     

基于工作流的星载SAR辐射定标系统研究与设计

在对原有星载SAR辐射定标处理系统的开发和认识的基础上,分析星载SAR辐射定标处理系统的领域需求及辐射定标数据的处理流程,并对工作流技术及工作流管理系统机制进行研究.在现有的SAR辐射定标处理系统中引入工作流技术及设计思想,实现系统处理的控制逻辑与具体的实现逻辑分离,及辐射定标数据处理的自动化或半自动化,提高数据处理的效率以及系统的灵活性和适应性.