基于Storm平台的数据恢复节能策略

作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strat...     

改进蚁群算法的Storm任务调度优化

Apache Storm 默认任务调度机制是采用Round-Robin（轮询）的方法对各个节点平均分配任务,由于默认调度无法获取集群整体的运行状态,导致节点间资源分配不合理。针对该问题,利用蚁群算法在NP-hard问题上的优势结合Storm本身拓扑特点,提出了改进蚁群算法在Storm任务调度中的优化方案。通过大量实验找到了启发因子α与β的最佳取值,并测得改进后蚁群算法在Storm任务调度中的最佳迭代次数;引入Sigmoid函数改进了挥发因子ρ,使其可以随着程序运行自适应调节。从而降低了各个节点CPU的负载,同时提高了各节点之间负载均衡,加快了任务调度效率。实验结果表明改进后的蚁群算法和Storm默认的轮询调度算法在平均CPU负载上降低了26%,同时CPU使用标准差降低了3.5%,在算法效率上比Storm默认的轮询调度算法提高了21.6%。     

基于Storm的城市消防联网远程监控系统的实时数据处理应用

针对城市消防联网远程监控系统中实时信息数据逐渐增长而引出的大数据问题,传统的消防系统无法实时、高效地处理消防实时数据的问题,提出了一种基于云计算和Storm实时数据处理系统的解决方案;对于开源的Storm框架进行需求和性能分析,实现对其技术架构上的改进,并结合消防系统的特点,提出一套高实时性、高可扩展性的消防联网监控中心的数据实时处理的体系架构,同时也进行了云计算平台的搭建,利用心跳检测机制保证各个监控单位的实时性连接;研究表明,基于云计算和Storm平台架构完全适用于消防联网监控中心的实时消防数据的处理,具有高效性、高可靠性、性能显著等特性。     

Storm环境下基于拓扑结构的任务调度策略

针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略（TS²）。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明：在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS²的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS²相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS²相比于Storm默认调度策略平均提升了14.21%。     

基于Storm的变压器PRPD参数提取与模式构造

随着局部放电数据增多,为了提高放电数据的参数提取和模式构造的效率,将放电数据参数分析与Storm相结合,设计并使用Storm平台下双阈值过滤参数提取算法.该算法在框架组件中分别对各个阶段进行编程实现,通过数据流连通,将其产生的任务提交至集群完成,有效提取基本参数并且绘制图谱.实验结果表明,该算法与Storm框架结合具有...     

基于Storm的流媒体实时传输系统

为了满足流媒体视频数据在传输过程中对数据的时效性、传输效率及传输的准确性这些高要求, 本文从实时大数据的流处理应用出发, 通过分析流媒体视频数据在实时传输中遇到的难点和所需的关键技术, 采用Storm流处理技术实现高性能、低延迟的分布式实时传输系统, 在Linux系统上完成Storm框架的搭建, 设计并实现了流媒体视频数据的传输拓扑任务, 同时部署Zookeeper为框架提供高效可靠的分布式协调服务, 并搭建流媒体服务器用于视频推流后的存储及客户端的点播. 在搭建好Storm框架后, 通过了对大规模流媒体视频数据的实时传输测试.     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台.利用tornado+ WSGI+ Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析.以网站访问日志作为数据...     

基于流处理技术的云计算平台监控方案的设计与实现

针对目前云计算平台监控手段实时性差的问题,提出一种基于大数据流处理技术的云计算平台实时监控方案。该方案采用实时计算系统Storm作为核心,使用iostat、mpstat等工具获取服务器性能信息,使用Flume和Libvirt获取全方位的日志信息以及云主机状态信息。获取到的信息以数据流的形式传至Storm,然后进行数据清洗、关键词匹配等实时分析。在模拟生产环境下对该方案进行测试,结果表明:该方案能够实现对大规模云计算平台进行实时监控,而且具有高可靠性、高扩展性的的优点,达到研究效果。     

数据需求驱动的Storm应用辅助开发框架

Storm支持流式数据的高性能实时计算,是一种广泛使用的流式计算框架。在Storm应用的开发中,开发人员需要针对不同的流式数据需求定制开发相应的计算模块,从而导致大量的重复工作,且难以适应数据需求的变动。如何根据流式数据格式和计算方式等数据需求,快速开发Storm应用并配置相应的环境,是提升大部分流式计算应用开发效率的重要问题。提出了流式数据需求描述方法,设计并实现了一种基于Storm的、由数据需求驱动的流式数据实时处理应用辅助开发框架,其根据业务人员描述的领域数据需求自动生成符合数据处理需求的Storm实时数据处理应用。实验表明,该框架能帮助不具备Storm开发能力甚至非软件开发人员快速配置常见的基于Storm的流式计算应用,对于常见的流式数据的实时处理需求具有一定的适应性。     

基于InfluxDB的监控设备通用运维管理平台

监控设备大规模安装和应用带来了运维困难的问题.本文研发了一个通用运维管理平台,平台通过前端状态采集装置获取监控设备运行时产生的各种状态信息;平台的运维管理系统汇总、存储状态信息,并提供监控、统计、分析、报警等管理功能以支持运维业务;平台的可视化展示子系统对状态信息进行可视化渲染呈现,为系统运维提供智能化的支持.状态采集装置模块化和冗余设计使得设备具有通用性、可扩展性、高可靠性和易维护性.状态信息具有时序数据特征,运维管理系统使用InfluxDB存储状态信息,大幅度降低了存储空间需求,并保证了数据查询和管理的性能需求.基于InfluxDB的监控设备通用运维管理平台已在多个用户单位安装试用,运行状态良好,具有很好的经济社会效益和推广价值.     

Storm集群下基于性能感知的负载均衡策略

Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡.     

基于流式计算的遥感卫星数据快视处理方法

随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。     

Storm下基于最佳并行度的贪心调度算法

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对Topology任务的并行度配置,当配置不合理时依然会造成Topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法,调度时先求解Topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。     

基于WebSocket的云监控系统的研究

传统的B/S模式的实时监控系统,已经不能完全满足用户的要求,主要体现在实时性不高、网络流量消耗量高等方面。对传统的实时监控系统的整体架构进行了改进,采用WebSocket推送机制替代传统的轮询机制,采用Storm云平台流式计算方式处理实时数据,很好地满足了用户提出的新的需求。通过实际应用证明,该系统不仅减少了网络流量消耗量,实现了按需对外服务,同时也提升了系统的实时性能。     

基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式（如基于人工识别、基于牌照识别、基于射频识别等）.然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.     

Storm流处理平台中负载均衡机制的实现

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架。然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题。针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保RegionServer的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率。通过与原生Storm系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势。     

Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。     

机群并行数据库的动态监控关键技术

分析了大规模机群并行数据库的监控层次,在中间件层实现了机群并行数据库动态监控模块,该模块采用集中监控技术来获取监控信息,运用ICE Storm中的消息订阅和发布机制实现了监控信息的发布和处理,并利用Ajax技术使用户可以通过Web方式实时地获取监控信息,保证了数据库系统的高效服务,方便了复杂数据库系统的管理工作。     

基于Web的信息可视化系统的设计与实现

可视化技术的发展能够帮助我们加深对大规模复杂数据和信息间相互关系的理解,因此人们针对不同领域开发出各种功能的可视化系统。以高等级生物安全实验室协同工作平台CBL项目为背景,根据生物安全实验室环境监控和生物安全知识库的可视化需求,设计并开发了CBL信息可视化系统。该系统采用基于Web的B/S三层架构,利用MVC设计模式,根据需求分别采用合适的可视化模型开发可视化组件,并根据可视化界面与用户交互的不同方式采用相应的Web客户端技术,方便用户更加高效地获取和理解信息。