基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台.利用tornado+ WSGI+ Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析.以网站访问日志作为数据...     

基于大数据的辅机设备振动噪声监测分析平台

分析了对辅机设备进行状态监测和分析研究的必要性,创新地将大数据技术应用于该领域,解决了该研究领域中的关键技术难题,设计并实现了一个辅机设备振动噪声大数据监测分析研究平台。平台采用流式数据实时分析技术和实时批处理技术相结合的方式,采用Storm+Hadoop大数据处理架构。一方面,利用Storm以流计算的方式,对噪音、振动、电流、电压、谐波等海量原始数据进行快速计算和处理,并将处理后的数据传输至实时监测中心;另一方面,采用批计算技术,将海量原始数据存储到基于Hadoop的分布式文件系统中,建立大数据库,再采用基于MapReduce的大数据分析技术对海量数据进行数据挖掘和建模。该平台的研究不仅实现了对辅机设备的运行管理的监测和分析,还可以作为辅机设备振动噪声大数据建模和研究的基础。     

基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式（如基于人工识别、基于牌照识别、基于射频识别等）.然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.     

基于Storm的流媒体实时传输系统

为了满足流媒体视频数据在传输过程中对数据的时效性、传输效率及传输的准确性这些高要求, 本文从实时大数据的流处理应用出发, 通过分析流媒体视频数据在实时传输中遇到的难点和所需的关键技术, 采用Storm流处理技术实现高性能、低延迟的分布式实时传输系统, 在Linux系统上完成Storm框架的搭建, 设计并实现了流媒体视频数据的传输拓扑任务, 同时部署Zookeeper为框架提供高效可靠的分布式协调服务, 并搭建流媒体服务器用于视频推流后的存储及客户端的点播. 在搭建好Storm框架后, 通过了对大规模流媒体视频数据的实时传输测试.     

基于流处理技术的云计算平台监控方案的设计与实现

针对目前云计算平台监控手段实时性差的问题,提出一种基于大数据流处理技术的云计算平台实时监控方案。该方案采用实时计算系统Storm作为核心,使用iostat、mpstat等工具获取服务器性能信息,使用Flume和Libvirt获取全方位的日志信息以及云主机状态信息。获取到的信息以数据流的形式传至Storm,然后进行数据清洗、关键词匹配等实时分析。在模拟生产环境下对该方案进行测试,结果表明:该方案能够实现对大规模云计算平台进行实时监控,而且具有高可靠性、高扩展性的的优点,达到研究效果。     

基于Storm的工业流水线实时分析系统设计与实现

随着全球云计算、大数据、物联网和人工智能等技术在工业领域的兴起,数据成为了工业4.0时代的核心驱动力。为了弥补Hadoop分布式系统在实时工业数据处理中显现的不足,提出基于Storm的工业流水线实时分析系统。该系统通过嵌入SDK实时采集终端数据,利用Nginx服务器将数据转换成日志文件,并采用分布式消息系统Kafka缓存,消息流入Storm进行分析处理后,将结果存入HBase中。最后从系统的保障性,并行性和实时性等方面进行分析,表明该系统非常可靠地将各个终端收集到的工业数据实时转换成有价值的信息输出,方便数据资源的汇总与优化。     

基于大数据的安全态势感知系统研究

针对目前层出不穷的各类网络攻击事件,基于最新的大数据技术组件,构建集数据收集、数据处理、数据存储、数据分析、数据呈现于一体的安全态势感知系统框架.通过Flume和Kafka获取日志或网络攻击信息,使用MapReduce和Storm技术进行批量或实时分析,以达到对网络安全的感知;采用层次分析法确定指标权重,提取网络态势特...     

面向大数据的Storm框架研究与应用

大数据计算主要包括批量计算和实时计算,针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点,基于Storm并借助开源框架Flume、Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的形式进行计算,输出有价值的信息。最后对系统进行性能测试以及计算能力的测试。实验结果表明,该系统可扩展性良好,且并行计算能力稳定,适合大量实时数据处理。     

面向物流服务的海量日志实时流处理平台

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.     

高校一卡通数据监控平台建设与研究

高校一卡通是智慧校园建设工程的重要组成部分。一卡通集成了高校学生的信息服务、身份识别、金融服务、消费信息等重要数据。如何对一卡通数据监控是高校后勤部门进行科学化管理关注的重点。本文对高校一卡通数据监控平台进行研究,利用移动互联网技术实现对一卡通金融消费数据、身份识别数据、图书借阅数据进行实时监控和管理,为后勤部门日常管理提供数据支撑。一卡通数据监控平台利用Storm实时流处理计算框架对数据进行实时监控等。利用该平台能够有效提高后勤管理部门日常管理工作,同时作为数据共享中心为其他部门提供数据源。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

面向大数据流式计算的任务管理技术综述

流式计算是大数据的一种重要计算模式,大数据流式计算已成为研究热点。任务管理是大数据流式计算的核心功能之一,负责对流式计算的任务进行资源调度及全生命周期管理。目前对于大数据流式计算的技术调研工作主要集中于流式计算应用需求、体系结构及整体技术,缺乏对大数据流式计算任务管理技术的精细化调研分析。首先给出流式计算任务管理的抽象功能模型,其次基于该模型对任务管理的关键技术进行了分类和综述,最后对既有主流的大数据流式计算系统对上述关键技术的应用、集成和优化进行了调研分析。     

Storm平台下的线程重分配与数据迁移节能策略

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略（energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM）,包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

流计算与内存计算架构下的运营状态监测分析

为满足对电网实时运营状态分析过程中对用户实时用电量数据等大规模实时数据进行实时分析处理的需求,实现对电网运营决策提供快速准确的数据分析支持,提出一种流计算与内存计算相结合的大规模数据分析处理的系统架构。将经过时间窗划分的用户实时用电量数据进行离散傅里叶变换（DFT）,实现对异常用电行为评价指标的构建;将基于抽样统计分析构造出的用户用电行为特征,采用K-Means聚类算法实现对用户用电行为类别的划分。从实际业务系统中抽取实验数据,验证了提出的异常用电行为和用户用电分析评价指标的准确性。同时,在实验数据集上与传统的数据处理策略进行对比,实验结果表明流计算与内存计算相结合的系统架构在大规模数据分析处理方面更具优势。     

面向服务的云-端动态协作方法

边缘计算可以通过将计算转移至边缘设备,以提高大型物联网流数据的处理质量并降低网络运行成本。然而,实现大型流数据云计算和边缘计算的集成面临两个挑战。首先,边缘设备的计算能力和存储能力有限,不能支持大规模流数据的实时处理。其次,流数据的不可预测性导致边缘端的协作不断地发生变化。因此,有必要实现边缘服务和云服务之间的灵活划分。提出一种面向服务的云端与边缘端的无缝集成方法,用于实现大规模流数据云计算和边缘计算的协作。该方法将云服务分成两部分,分别在云端和边缘端上运行。同时,提出了一种基于改进的二分图动态服务调度机制。当产生事件时,可以在适当的时间将云服务部署到边缘节点。基于真实的电能质量监控数据对提出的方法进行了有效性验证。