面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

基于Kafka和JavaScript的城轨信号系统智能运维数据采集与处理方法

在城市轨道交通（简称“城轨”）信号系统的传统运维过程中,运维数据采集和处理的效率较低、数据间缺乏关联性且及时性差。为了将城轨信号系统的各种专业运维数据转化为具有通用格式、可读性强且标准化的信息资源,从而为后续的数据分析和信息融合提供数据基础,文章提出一种采用Kafka数据采集和JavaScript (JS)脚本数据处理的方法。其首先通过Kafka系统集中采集不同信号专业的运维数据;然后,通过动态加载JS脚本文件,自动处理并存储所采集的运维数据;最后,以ZC、VOBC信号系统运维数据为例进行试验验证。结果显示,与人工数据采集和处理方式相比,该方法缩短了50%的处理时间,且处理结果与人工采集的相一致,证明了本文的数据采集和处理方法能够有效实现城轨智能运维系统数据的通用化、可读化和标准化。     

面向交通大数据的智能处理平台建设研究

现阶段交通数据呈指数增长,并具有结构类型复杂、信息价值较大的特点,为更好地促进交通数据与现在服务业的结合,充分利用其价值为人类生活的便利创造条件,本文研究交通大数据与其它信息平台交互过程中遇到的问题。通过对交通大数据的采集、标准转换、数据流处理等多方面进行研究,建设了面向交通大数据的智能处理平台,提高了数据与其它信息系统的交互能力,为交通数据的深度挖掘做充分准备。     

基于GIS交通源分布数据库技术的研究

交通源分布是城市交通管理和规划的重点对象和考虑因素。本文探讨通过对现有的城市机动车辆数据和人口数据进行交通分区处理，建立人口与车辆等交通源分布的数据库系统，生成交通源GIS分布数据，为城市交通管理者在做有关城市交通管理和规划方面提供决策数据。     

场站飞行保障数据可视化平台设计与应用

为提升航空兵场站信息化建设过程中的数据应用与管理能力,提出了一种基于Spark的场站飞行保障大数据可视化平台.以场站信息化系统和物联网络数据采集数据为基础,利用Spark计算引擎集成Kafka消息队列,使用Hive完成数据列表库的建立和存储,基于Spark RDD和Spark SQL完成数据预处理与交互,并选择Vue框架嵌入ECharts组件完成前端数据可视化呈现,并最终对设计方案进行了实现与应用.相较于当前业务隔离的信息系统建设模式,平台具备更高的数据融合与处理分析能力,能够更好地实现场站飞行保障数据价值.     

基于Flink的工业大数据平台研究与应用

随着工业4.0的到来,互联网与工业结合愈发紧密,但工业大数据规模大、类型杂、质量低的特点导致大量设备数据无效且企业人员无法正确监测到设备信息.针对这一问题,提出一种基于Flink的工业大数据平台.以企业传感器数据为基础,用Flink将不同类型的数据发送至消息管道Kafka中暂存数据,用Flink对Kafka中的数据进行...     

基于云计算的城市轨道交通数据可视化方法及案例研究

针对城市轨道交通票卡数据流无法快速处理现状,基于云计算平台提出一种城市轨道交通大数据可视化分析方法。基于数据ID将城市轨道交通客流数据按时间段进行分表处理;基于客流关键字段建立索引数据集合并将必要客流数据字段放入对应的索引中;通过删除冗余、错误数据实现对数据筛选和清洗处理。利用ECharts中的JS插件对城市轨道交通客流数据进行可视化呈现。以JSP容器与Web服务器协同构建城市轨道交通数据可视化移动终端。以目标城市为例,对可视化系统进行验证。     

一种基于Kafka的可靠的Consumer的设计方案

伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。     

基于大数据技术的区域煤矿监管数据服务平台设计

针对煤矿监管体系中安全风险监测预警系统联网数据多级重复上传、数据不一致现象,各级安全监管机构数据存储计算资源缺乏、关联分析和数据挖掘困难等问题,设计了基于大数据技术的区域煤矿监管数据服务平台。该平台采用Kafka分布式消息队列,将区域内煤矿监测监控数据生成标准化Kafka数据体,批量上传至云平台Kafka集群;通过发布-订阅模式提供监测监控实时数据消费服务,减轻了网络传输开销,避免了联网数据多级上传和过滤带来的不利影响;采用Spark Structured Streaming计算引擎和Spark SQL进行数据实时计算和历史数据统计分析,通过集成的各类数据分析挖掘算法,为数据挖掘和预测预警提供支持;采用HBase列存储数据库实现海量历史数据的可靠存储,通过与HBase相关联的Hive数据仓库建立各类主题数据模型库,满足数据的多维关联分析需求;通过统一安全权限认证的数据订阅服务为各级监管机构提供所需的煤矿监测监控数据、统计分析数据和数据挖掘结果,将后台数据服务中心与前端监管监察业务系统解耦,通过数据服务为各级监管机构提供数据定制和消费服务,提高了数据利用效率。应用结果表明,平台可满足区域煤矿监测监控数据的存储、分析计算和数据共享需求。     

智能交通教学云平台建设构想及实施

智能交通教学云平台能够实时的对城市交通数据、路桥安全、交通状况等数据进行分析,为学生对城市交通管理提供数据决策支持服务,并利用可视化的形式将处理结果展示给学生,有利于提高学生的学习效率。通过对智能教学云平台系统架构进行分析,并探究了智能交通教学云平台建设的关键技术,提出了智能交通教学云平台的建设策略。     

基于Spark的实时视频分析系统

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展. 本文针对大规模实时视频监控提出了新的解决方案. 基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势. 系统根据视频处理算法划分为单机处理与分布式处理. 并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作. 结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.     

面向物流服务的海量日志实时流处理平台

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.     

大数据平台实时计算监控方案分析

在实时业务数据处理中,需要用到Flume、Kafka、Slipstream等一系列功能组件。在前台业务系统与大数据平台的数据传输过程中,需要监控数据是否正常流动。如果出现了异常,需要定位异常出现的位置。通过一系列的监控工具和方法,可以快速定位各个环节的功能组件是否正常运行。该技术方案的主要目的是为了监控大数据平台实时数据计算的整体流程是否正常工作,前台业务系统与大数据平台内部的数据校验、大数据平台内部的数据校验逻辑是否正确。一方面可以在日常开发过程中验证数据的可靠性,另一方面也可以帮助运维人员更快更精准地定位到产生异常数据的问题所在,从而对现有的业务逻辑进行优化,提高业务效率。     

基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、 Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台。利用tornado+WSGI+Apache技术搭建Web服务器,采用 Echarts技术对处理结果进行可视化分析。以网站访问日志作为数据源,对平台进行验证,通过测试,该平台能够完成网站的点 击率和访客数的实时计算,具有稳定可靠、操作简单、实时性强等特点。     

基于流计算的电力调度网络流量监测平台

由于电力调度网出现任何网络故障都可能发生极度严重的事故,因此具有的极高可靠性及安全性的要求.而当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求.因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成.本文结合电力调度信息网络的特点以及监测准确性及实时性的需求,构建出一个基于流计算的数据处理分析平台,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成流量异常监测场景.     

Design and implementation of a cloud-based event-driven architecture for real-time data processing in wireless sensor networks

The growth of the Internet of Things (IoTs) and the number of connected devices is driven by emerging applications and business models. One common aim is to provide systems able to synchronize these devices, handle the big amount of daily generated data and meet business demands. This paper proposes a cost-effective cloud-based architecture using an event-driven backbone to process many applications’ data in real-time, called REDA. It supports the Amazon Web Service (AWS) IoT core, and it opens the door as a free software-based implementation. Measured data from several wireless sensor nodes are transmitted to the cloud running application through the lightweight publisher/subscriber messaging transport protocol, MQTT. The real-time stream processing platform, Apache Kafka, is used as a message broker to receive data from the producer and forward it to the correspondent consumer. Micro-services design patterns, as an event consumer, are implemented with Java spring and managed with Apache Maven to avoid the monolithic applications’ problem. The Apache Kafka cluster co-located with Zookeeper is deployed over three availability zones and optimized for high throughput and low latency. To guarantee no message loss and to simulate the system performances, different load tests are carried out. The proposed architecture is reliable in stress cases and can handle records goes to 8000 messages in a second with low latency in a cheap hosted and configured architecture.

     

基于Netty和Kafka的物联网数据接入系统

当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出可供采集终端与收集端使用的通信协议,剥离出网络通信业务中耗时操作并将数据推送至流式消息处理系统Kafka中,再由Kafka消费者负责后续数据持久化、实时分析工作。由此实现一个支持高并发、低延迟的数据接入系统。实验结果表明,在万级别连接情况下,该系统能正常工作且保持较快的响应速度。     

基于Spark的有效载荷参数解析处理方法

为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法。采用Kafka和Spark相结合的处理方式,利用Kafka将有效载荷实时数据转换为消息队列流,Spark通过Kafka获取消息队列流的数据,利用内存对数据进行迭代运算,提高数据运算速度,实现实时的、高吞吐率的有效载荷参数解析。仿真结果表明,使用该方法在实时吞吐率上较单机多线程处理方法有较高提升,能有效满足实时参数解析的要求。     

基于流式计算的遥感卫星数据快视处理方法

随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。     

基于国产处理器增量式实时交通流预测算法及实现

针对城市交通难以处理大量数据且实时性差等问题,提出了根据增量式城市交通流数据预测拥堵情况的一种基于国产处理器的L-BFGS(limited-memory BFGS)算法。该算法通过存储向量序列计算Hessian矩阵,改进Two-Loop算法求下降方向,在Spark集群中并行处理时收敛速度快,适用于实时性要求强的城市交通场景。实验结果证明,L-BFGS预测算法完全可以在国产平台上对大规模的实时交通数据流进行快速建模、预测,在改善城市交通管理水平提供有效支撑的同时也丰富了国产芯片的应用领域。