面向海量数据的在线流数据服务框架

针对多应用共享海量流数据的问题,提出一个在线流数据服务框架。通过对多应用共享流数据场景进行分析和抽象,设计具有数据层、管理层和接口层的在线流数据服务框架。框架将流数据管理划分为索引建立、注册器、匹配器和内存清理四个组成部分,并且通过一个专用的数据管理引擎对流数据进行管理。框架的提出为多应用流数据共享场景提供了一种统一管理流数据的方案。实验结果表明,相对与传统数据库,在线流数据服务框架在流数据写入速度能提高近5倍,在流数据的读取速度上提高4倍左右。     

分布式流处理技术综述

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.     

基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统.该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理.该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查.该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案.     

面向高性能计算机的海量数据处理平台实现与评测

随着时代的进步,科学的发展,计算机领域也取得了突破性的发展。高性能计算机主要应用于传统的计算机领域,但是在云计算的时代,随着数据密集型数据的兴起,探索如何通过高性能计算机进行海量数据的处理已经成为一个人们不得不深刻思考、探究的一个问题。高性能计算机因为其独特的性质为海量数据的处理提供了很好的支持,利用高性能计算机处理海量数据,不仅拓宽了高性能计算机的应用领域,更解决了密集型数据的处理难题。本文主要通过分析高性能计算机的特征,提出了几种解决高性能计算机处理海量数据中存在的问题,一提高我国高性能计算机处理海量数据的能力。     

基于rabbitmq的海量日志的分布式处理

近年来,随着科学技术的发展,各种设备日志层出不穷,然而传统的基于单节点的集中式日志分析已经无法满足日志海量、异构、多样等要求,何有效的利用分布式计算资源解决海量日志分析问题成为当下日志研究的一个热点问题。本文提出了基于消息队列rabbitmq的集群方案,并在此基础上测试了海量数据的分布式计算.对比实验结果说明集群优势可以有效的解决日志分析海量数据的问题。     

基于民航西北空管局数据平台的实时数据仓库技术选型分析

随着我国民航行业的迅速发展，空管行业产生的数据日益增加，为了应对大量数据存储并持续挖掘数据价值，各地空管系统已经开始计划建设大数据平台。作为大数据平台的重要组成部分，数据仓库在数据资产管理、统计分析等方面起到了重要作用。目前数据仓库主要针对前一天数据的统计分析（T+1）场景，提供良好的能力。随着业务指标的增多和提升，数据仓库逐渐面临实时性统计分析（T+0）的需求。随着流式计算的发展，基于Kafka、Flink等组件搭建实时数据仓库已经成为业界主流技术，业界也将发展方向聚焦在利用实时数据仓库实现批流一体化，同时应对T+0及T+1业务场景。为了满足发展需要，亟需在传统数据仓库的技术架构下探索符合空管行业的实时数仓架构，为未来的技术选型提供依据和支撑。     

支持实时流计算应用的关键技术研究进展

信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势.     

基于流处理技术的云计算平台监控方案的设计与实现

针对目前云计算平台监控手段实时性差的问题,提出一种基于大数据流处理技术的云计算平台实时监控方案。该方案采用实时计算系统Storm作为核心,使用iostat、mpstat等工具获取服务器性能信息,使用Flume和Libvirt获取全方位的日志信息以及云主机状态信息。获取到的信息以数据流的形式传至Storm,然后进行数据清洗、关键词匹配等实时分析。在模拟生产环境下对该方案进行测试,结果表明:该方案能够实现对大规模云计算平台进行实时监控,而且具有高可靠性、高扩展性的的优点,达到研究效果。     

应用软件运行日志的收集与服务处理框架

随着现代计算机系统的规模和复杂性不断增大,其运行日志的数量也不断增多,但是由于日志数据的规模巨大、内容杂乱,用户查看日志数据具有一定的困难,因此对应用软件运行日志进行有效收集与处理具有重要意义。提出了一种应用软件运行日志的收集与服务处理框架,利用分布式收集策略对日志数据收集,定义了一种多层次数据存储结构对日志数据进行存储,并向用户提供日志数据查询服务。通过对某综合减灾系统的日志数据分析验证了提出的日志数据收集与服务处理框架的实用性,并与传统的日志收集分析软件ELK和Chukwa进行了对比。     

嵌入式软件仿真测试平台实时数据处理研究

实时数据处理在嵌入式软件仿真测试平台中起着要目标和实时数据处理的要求,提出了一种实时数据处理体系的逻辑模型,并对实时数据管理、事务调度、实时接口映射机制等关键技术进行了深入探讨.     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

面向实时流处理的多核多线程处理器访存队列

针对多核多线程处理器中乱序访存影响计算实时性的问题,在对典型访存队列进行研究的基础上提出了一种新的访存队列构建模型及其硬件结构.该模型采用窗口优化算法控制最差情况下的访存延迟,保证访存的实时性,同时又利用优化的乱序调度策略减少访存延迟.实验证明,该访存队列可控制最大访存延迟,与顺序访存相比,存储器具备更高的带宽,与传统的乱序访存相比较,可以充分满足计算的实时性需求,而存储器有效带宽基本不受影响,解决了多核多线程处理器承担实时流计算的基础难题.     

面向电网流式数据处理的性能测试平台

提出一种面向电网流式数据处理的性能测试平台的系统架构及关键技术.针对电网流式数据的业务场景特点,测试平台支持基于浏览器的测试脚本设计和测试场景设计,并支持测试任务的全生命周期管理和高可用保障.为了满足大规模负载测试需求,测试平台提供基于Linux容器的虚拟化测试资源池,实现了测试资源的轻量化、弹性管理.     

用DSP芯片开发实时数据采集与处理系统

本文讨论了用DSP芯片开发实时数据采集与处理系统的过程,软硬件的设计方法及注意的问题。     

接收与处理分离的实时大数据处理模型

在大数据处理过程中,系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求,提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中;分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元;数据处理单元处理数据,处理结果放入内存数据库;处理数据分发单元继续从内存数据库中获取处理后的数据,并按照海量数据负载均衡算法把数据分发给数据归并单元。实验证明,使用该模型方法,系统保持了非常高效的处理效率。     

基于RTX的实时数据处理系统

为了解决远程设备数据处理不及时的问题,提出了一种基于RTX实时操作系统的设备数据处理系统.该系统由RTX实时数据处理进程和人机交互进程两部分组成,其中RTX实时数据处理进程负责接收远程设备端的数据并进行实时的处理,将处理过的数据经共享内存和同步事件对象等通信方式,传输到Win32的人机交互进程进行显示和存储数据,同时用户可以通过控制指令修改远程设备的状态.实验证明,该系统解决了设备数据处理不及时的问题,保证了设备管控的实时性和稳定性,能够满足对远程设备进行实时管控的要求.     

基于数据流的桥梁健康监测海量数据处理

采用数据流的滑动窗口技术,建立了一种基于数据流滑动窗口的桥梁健康监测系统数据处理及存储模型,进行了基于数据流的桥梁健康监测数据处理的研究.桥梁健康监测是对桥梁结构进行实时监控和结构状态的智能化评估.这对确保桥梁的运营安全及早发现桥梁病害,对延长桥梁的使用寿命起着积极的作用.基于数据流的滑动窗口技术,对传感器采集的数据进...