基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

通用遥感卫星快视处理系统技术研究

分析了各国遥感卫星传输格式复杂、多样的特点,针对由此而带来的记录系统快视处理和成像部分开发研制上的扩展性、可复用性较差的问题,开展了通用遥感卫星快视处理系统技术的研究。本文提出了一种通用快视数据格式、数据格式转换处理的方法,以及实现了通用多功能成像显示技术,并通过模拟多颗卫星数据以原码速率回放的手段,验证了快视系统设计的正确性。     

大数据流式计算框架Storm的任务迁移策略

Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster, TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明：相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.     

面向套牌甄别的流式计算系统

套牌车的甄别具有时效性约束。针对现有计算检测方法中所出现的精度低、响应慢等局限,提出了一种基于实时车牌识别（ANPR）数据流的套牌车流式并行检测方法,设计了基于路段阈值表和时间滑动窗口的套牌计算模型,能够实时地甄别出交通数据流中的套牌嫌疑车。在Storm环境下,利用某市真实交通数据集模拟成实时交通流数据进行实验和评估,实验结果表明计算的准确率达到98.7%,并且一条车牌识别数据的处理时间为毫秒级。最后,在该计算模型基础上实现了套牌车稽查防控系统,能实时甄别并展现出当前时刻城市交通网中出现的所有套牌嫌疑车。     

大数据流式计算：关键技术及系统实例

大数据计算主要有批量计算和流式计算两种形态,目前,关于大数据批量计算系统的研究和讨论相对充分,而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征,给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征,论述并对比了已有的大数据流式计算系统的典型实例,最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.     

遥感卫星数据获取与处理关键技术概述

以往的文献中,对遥感卫星数据处理中部分环节所涉及到的算法、过程及效果有过一些介绍,对遥感数据的应用方法的描述和分析更是屡见不鲜,但对于遥感卫星数据获取和处理全过程的介绍以及在这个过程中涉及到的关键技术的描述则较少.本文在着眼国内外主要遥感卫星的基础上,对遥感卫星数据获取与处理的主要工作环节进行回顾,对所涉及到的主要关键技术进行总结,以形成对遥感卫星数据获取与处理全过程的了解和掌握.     

遥感卫星数据快视移动窗系统的设计与实现

本系统利用XML,DirectX,TCP/IP等技术实现了客户端/服务器架构的多星、多传感器、多通道的卫星图像演示平台,初步实现了对不同传感器、不同卫星实时数据质量的监测,为进行质量评价提供了一个可靠的平台.     

基于Storm与Kafka集群的火电厂分布式流式数据建模与分析系统

大数据时代环境下,火电厂超大规模的数据量以及较高的数据处理时效性要求都对我们能否有效地利用数据进行分析提出了挑战,传统的数据分析方式在性能、时效、精度等方面已不能满足电厂运行人员对设备运行状态精确判断的要求.为此提出一种基于Storm与Kafka集群的数据建模与分析系统,利用Kafka高吞吐量的消息驱动能力和Storm...     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

基于贝叶斯网络的遥感数据处理软件

航空航天对地观测系统利用遥感数据获取地表信息的过程中,存在数据误差造成的不确定性和成像时间限制造成的不完整性。针对上述问题该文开发了一款以贝叶斯网络及其相关算法为基础的遥感数据处理软件——BayesNetEX,介绍BayesNetEX的体系结构及使用方法,以三时相北京市TM遥感影像为对象进行变化检测数据处理试验,说明该软件能有效地应用于遥感影像处理。     

适合遥感影像处理的网格计算环境研究

网格计算是近几年来发展迅速的一种网络资源共享模型,其目的是网络资源的完全共享。网格计算相对于传统的C／S及Web GIS来说,它在网络计算、数据处理、资源共享、任务协同等方面都有了进一步的发展。在适感影像处理与理解应用方面,由于涉及大量的网络计算及网络传输等耗时操作,应用网格计算思想进行适感图像处理就更有实际意义。结合网格计算的网络计算及资源共享的优势,设计并开发适合适感影像处理的网格计算环境及软件,是解决当前适感影像海量数据处理的有效途径之一,同时也是适感图像处理软件的一个发展趋势之一。本文结合实际研究成果,首先给出了基于网格计算思想的适感影像处理的设计流程,并对其具体实现技术进一步进行了讨论。在分析其在图像处理方面应用的基础上,对面向网络的智能化适感图像网格处理系统进行了分析与设计,并给出了其实现的一些关键技术。     

基于Storm的城市消防联网远程监控系统的实时数据处理应用

针对城市消防联网远程监控系统中实时信息数据逐渐增长而引出的大数据问题,传统的消防系统无法实时、高效地处理消防实时数据的问题,提出了一种基于云计算和Storm实时数据处理系统的解决方案;对于开源的Storm框架进行需求和性能分析,实现对其技术架构上的改进,并结合消防系统的特点,提出一套高实时性、高可扩展性的消防联网监控中心的数据实时处理的体系架构,同时也进行了云计算平台的搭建,利用心跳检测机制保证各个监控单位的实时性连接;研究表明,基于云计算和Storm平台架构完全适用于消防联网监控中心的实时消防数据的处理,具有高效性、高可靠性、性能显著等特性。     

Hadoop下海量遥感数据的处理

随着我国空间技术科学的发展,遥感数据正以指数级增长,由于遥感数据的地理信息特征,海量遥感数据的存储和处理成了近年的研究热点,本文采用在商业上取得出色成绩的hadoop云计算平台来对海量遥感数据进行并行化处理,完成了系统并行性能测试与分析,结果表明利用hadoop对海量遥感数据的并行化处理的可行性,并且还能满足海量遥感数据并行处理效率要求和高可用性。     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

遥感影像的高性能并行处理技术研究

随着空间遥感技术和对地观测技术的不断发展,光学、热红外和微波等不同技术手段可以获取同一地区的多种遥感影像数据（多时相、多光谱、多传感器、多平台和多分辨率等）,每天获取的遥感数据量越来越大。同时,大量的遥感应用需要快速地对这些遥感数据进行处理与分析,提供辅助决策信息。因此,如果不能及时进行数据处理,这些数据就会失去时效性,甚至失去数据本身的价值。高性能计算与并行处理技术,加速了遥感影像数据处理与信息提取的进度,如大规模多处理系统、网格与云计算技术、通用图形处理器（GPGPU）等。文中综述了高性能计算、并行处理及云计算技术应用于遥感领域的最新进展,给出了一些研究与应用范例,并提出了当前高性能遥感影像处理所面临的一些挑战。     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

自适应方法在遥感图像处理中的应用研究

自适应方法为解决遥感图像处理发展中产生的新问题提供了有力的工具。自适应方法的算法、理论已经在遥感图像处理的降噪、分类、目标识别与跟踪、信息融合等诸多领域开始应用。经过试验与仿真分析,证明这些方法都取得了良好的效果。本文探讨了自适应方法在遥感图像处理中应用研究的新进展,对发展趋势作了展望。     

遥感数据异地归档方法研究与实现

遥感数据异地备份是在数据中心和备份端各自保存一份遥感数据,并提供数据恢复手段的容灾技术.遥感数据异地归档是遥感数据异地备份的基本组成部分,是实现遥感数据异地备份的关键.为实现遥感数据异地备份中异地归档功能,本文针对异地归档过程中的难点和问题,提出了遥感数据异地归档方法,并从技术角度出发提出解决方案.     

一种基于本体的多源遥感数据集成系统

文章针对多源遥感数据集成共享的需求,分析了遥感数据源存在的数据冲突,提出了一种基于本体的遥感数据集成模型。通过OWL表示本体和映射关系,实现全局遥感数据本体与局部数据本体的冲突消解。