高速卫星遥测数据处理系统的设计方案

为了解决高速下行的卫星遥测数据的接收和处理问题,对地面卫星遥测数据处理系统进行了研究.针对集中式卫星遥测数据处理系统无法正常接收和解析下行速率较高的遥测数据的缺点,提出了一种基于分布式处理的遥测数据处理系统的设计方案.该方案将分布式系统构架和并行计算技术相结合,把原始的单机处理过程分散到多台计算机上,同时利用多台计算机的计算能力对数据进行处理.仿真测试结果表明,该方案有效地解决了集中式数据处理系统接收高速遥测数据丢包的问题,同时也具有较高的可重用性和扩展性.     

基于VxWorks的网络数据实时处理软件的设计与实现

机载实时数据处理可以大幅提高数据处理的效率。为满足机载网络化测试系统架构下的实时数据处理的需求,设计并实现了一种基于VxWorks的网络数据实时处理软件。该软件运行在多核嵌入式数据处理系统上,通过多任务并发执行的方法保证实时性。软件运行过程中利用零拷贝技术实时接收机载测试系统发送的网络包数据,然后按照自定义的文件格式存储原始数据,同时将需要处理的网络包存入数据处理缓存中,根据网络数据协议实时解析网络包数据,最后利用预留缓存的办法将处理结果写入结果文件。实践证明,该软件能快速接收并实时处理网络数据,同时将原始数据和结果数据进行存储,该方法有效提高了数据处理的效率,为飞行试验数据处理提供了新的途径。     

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

空间科学卫星数据快速处理方法

针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统建设中的关键。面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题,现有基于CCSDS标准格式的数据分析方法,难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求。针对空间科学卫星探测数据处理特点,提出了一种空间科学数据快速处理方法,设计两层联合索引结构,将空间科学大数据处理问题转化为索引表和源包数据单元的处理问题,提高了数据处理效率;采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架,支持多样化的空间科学卫星数据处理流程,各类载荷数据处理任务并行调度。实验结果表明,这种方法处理速度可扩展,内存使用较少,已应用于空间科学卫星地面系统中,取得了良好的效果。     

基于机会协作的农业物联网大数据处理系统设计

针对在农业物联网中通信环境复杂和大数据处理效率低的问题,提出了基于机会协作的自适应大数据处理机制。根据农业物联网应用需求,综合考虑了农业产业环境对无线数据传输的影响建立了跨层交互分析模型,结合机会协作机制和大数据处理需求,设计了大数据处理方案。实验分析和测试表明,所提大数据处理方案在系统吞吐率、可靠性和系统处理性能等方面,表现出了比传统协作机制和数据处理方案更优越的性能。     

分布式地震数据处理系统研究

地震数据处理是一个非常复杂的系统工程，其过程涉及到大量的功能模块，这些功能模块构成了一个完整的地震数据处理系统，针对当前单个地震数据处理系统存在的突出问题，提出了一种基于网络技术的分布式地震数据处理系统，以适应愈来愈复杂的地震数据处理的需要，达到提高地震数据处理质量，减少地震数据处理周期的目的。分布式地震数据处理系统的地震数据采用局部地震数据库和全局地震数据库两种管理方式。功能模块设计为局部的，使用该处理系统进行管理，通过计算机网络功能，将多台计算机上的多个地震数据处理系统有机地结合起来，共同完成一次地震数据处理过程，其最大特点就是能够优化模块组合，进行数据共享，形成最佳处理流程，快速，高效地完成处理工作。     

大数据安全处理技术研究

随着大数据时代的到来,对大数据的处理变得越来越重要。本文对如何处理大数据进行了分析,研究了大数据处理的相关技术,包括数据存储架构、数据结构处理、极限存储处理等方面。最后,对大数据的未来发展进行了展望。     

多流多科目实时数据处理算法的设计与实现

随着飞行试验测试技术的快速发展,单架次需要处理的试飞科目越来越多,而多科目处理参数分布在不同的网络流中,这对机载实时数据处理的效率带来严峻的挑战。利用“合并-处理-分流”的方法,设计一种多流多科目网络数据实时处理算法。该算法将多科目处理参数按照参数名、采样率等信息进行整合形成合并参数列表；在实时处理时根据合并参数信息实时处理多网络流中的数据,并将处理结果存储在数据缓存中；最后将多科目数据进行分流即可得到处理结果。测试结果表明,该算法可实际应用于多流多科目数据处理中,大幅提高实时处理的效率,同时可以得到准确的数据处理结果。     

测控系统指显数据处理方法

航天测控系统数据传送采用独特的协议格式,对数据处理解算的方法有着较高的要求.为了高效、通用、全适应的完成对航天系统测控数据的处理解算显示,针对其数据格式特点建立模块化字节流处理模型和遥测数据处理模型,可根据不同类型数据格式灵活选取合适的数据处理模型完成处理,保证数据处理的正确性和可靠性前提下,提高了测控系统指显数据处理的适应性和通用性.     

改进型实时气象资料处理系统的设计与实现

提出实时与非确定时的实时气象资料处理策略,采用多线程编程技术设计开发实时气象资料综合处理业务软件,结合基于Oracle11g和SUSE Linux Enterprise Server 11 (SLES11)的大型数据库系统,构建改进型的实时资料处理系统.该系统能够综合处理报文资料和雷达基数据,显著提高了资料处理的时间效率和计算机系统利用率,实现了海量数据高性能存储和管理.系统的设计思想对其他行业实时海量数据处理也具有参考意义.     

机载网络数据时间同步处理算法的设计与实现

数据准确可靠是飞行试验数据处理的基本要求,但网络化测试架构的使用给数据处理时间同步带来一定的难度。针对机载网络数据处理中存在的网络包乱序、时间不同步的问题,研究了网络包数据乱序的产生原因及其特点,详细分析并比较了基于包个数、基于最大逆序、基于半包时间间隔三种时间同步处理算法的优缺点及适用性,最终选择使用基于半包时间间隔的时间同步处理算法作为机载网络数据处理算法,并详细介绍了该算法的具体实现方式。在实验中测试了该算法的有效性,结果数据表明该算法能有效解决网络数据时间同步的问题并得到准确的处理结果,保证了型号数据处理的准确性。     

飞行试验机载网络数据实时处理技术研究

为实现飞行试验机载网络数据实时处理,对动态数据接口、机载网络数据传输结构和实时数据解析方法进行研究,开发基于VC+ 的实时处理软件系统。根据数据采集系统生成的硬件配置文件建立动态数据接口与硬件进行连接,在此基础上利用网络套接字方法对实时传输的网络数据进行捕获,将捕获的网络数据结合结构参数信息进行解析处理,实现机载网络数据的实时处理。此软件系统已在某项目上进行测试并得到成功应用,实践证明此软件系统能够对机载网络数据形象准确的真实解析,进行数据有效性检查、数据采集与记录等方面的实时处理,同时为系统架构扩展和进行深一层的研究提供了科学保障。     

基于Spark的分布式数字信号处理算法库设计

传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.     

解析大数据

随着物联网的发展,大数据的处理无论是从量、还是从处理速度上都成为人们关注的焦点。从大数据的来源及数量、大数据类型、处理速度及方式3方面对大数据进行探讨,给出了大数据模型;分析了大数据的处理技术和策略。     

Towards a data processing plane: An automata-based distributed dynamic data processing model

Data processing complexity, partitionability, locality and provenance play a crucial role in the effectiveness of distributed data processing. Dynamics in data processing necessitates effective modeling which allows the understanding and reasoning of the fluidity of data processing. Through virtualization, resources have become scattered, heterogeneous, and dynamic in performance and networking. In this paper, we propose a new distributed data processing model based on automata where data processing is modeled as state transformations. This approach falls within a category of declarative concurrent paradigms which are fundamentally different than imperative approaches in that communication and function order are not explicitly modeled. This allows an abstraction of concurrency and thus suited for distributed systems. Automata give us a way to formally describe data processing independent from underlying processes while also providing routing information to route data based on its current state in a P2P fashion around networks of distributed processing nodes. Through an implementation, named Pumpkin, of the model we capture the automata schema and routing table into a data processing protocol and show how globally distributed resources can be brought together in a collaborative way to form a processing plane where data objects are self-routable on the plane.     

存储新技术在地震资料处理中的应用研究

地震资料处理对存储空间和存储性能都有着较高的要求,处理过程中数据量会急剧增加,中间数据几倍甚至几十倍于原始数据,传统的NFS存储架构,由于其明显的IO瓶颈,处理作业完成时间受到很大制约。简单分析了地震勘探数据处理对于存储的需求,介绍了并行存储实现原理及地震资料处理系统对数据的访存特点,最后对并行存储进行IO压力、性能测试。测试表明:并行存储能够提高数据性能数倍,很大程度上缩短了地震资料处理时间并减轻了系统人员的运维压力。     

一种基于Hadoop的EPC物联网数据分析系统的研究与实现

随着物流中心内部署的感知节点感知的EPC标签数据日益膨胀,并且由于单机容量以及计算能力的限制,使得传统数据处理方式已经不能很好地满足物流中心对于大数据处理的需求。为解决数据中心对内部历史数据进行高速有效处理的困境,在对Hadoop技术进行深入研究的基础上,提出了一种EPC物联网数据处理算法,并使用Hadoop技术进行实现。实验结果表明,在Hadoop平台中进行EPC数据处理,可以明显提高物流中心对历史数据的处理能力。     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

基于CEP的RFID数据处理模型研究

RFID数据处理技术是近年来射频识别技术应用研究的热点。本文针对RFID数据的特点以及目前RFID数据处理技术的不足,探讨了将复杂事件处理（CEP）技术应用于RFID数据处理的具体技术问题,提出一种基于CEP的RFID数据处理模型,重点对高速缓存cache、事件滤波器以及复杂事件构建器等关键技术进行了研究,对该处理模型的应用进行了讨论。     

基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法研究

伴随流式数据处理需求而产生的复杂事件处理技术,在处理具有多样性和流式特征数据方面性能表现突出,被广泛应用于复杂事件大数据处理系统中。针对复杂事件大数据处理系统测试需求,提出一种基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法,该方法以部分真实数据中的复杂事件结构关系及概率分布特征构建贝叶斯网络预测模型,生成具有真实数据结构特征与分布特征的复杂事件测试数据集。实验结果表明,提出的方法具有可行性。