火电厂辅机智能监测平台研究与应用

基于大数据的火电厂辅机智能监测平台通过分布式辅助设备状态监测网,对辅机振动状态进行实时监测与分析;通过联结SIS系统获取温度、开度、电流等运行状态数据,将振动数据与之融合,建立辅助设备运行状态数据库,采用大数据挖掘与人工智能技术实现辅助设备的实时状态评估、故障分析与趋势预测,为火电厂重要辅机的运行管理与维护提供决策依据...     

基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

基于Storm的美团实时计算应用实践

以Kafka、Storm和Samza为代表的实时计算技术,提供了不同于MapReduce的另一种大数据解决方案,更好地解决了海量数据处理的时效性问题。本文将从需求、架构、应用和优化等方面介绍美团在实时计算技术方面的应用和实践经验。大数据技术正改变着互联网行业。一方面是以Hadoop／MapReduce为代表的批量计算技术,生态圈已发展相对成熟;     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

基于Storm的工业流水线实时分析系统设计与实现

随着全球云计算、大数据、物联网和人工智能等技术在工业领域的兴起,数据成为了工业4.0时代的核心驱动力。为了弥补Hadoop分布式系统在实时工业数据处理中显现的不足,提出基于Storm的工业流水线实时分析系统。该系统通过嵌入SDK实时采集终端数据,利用Nginx服务器将数据转换成日志文件,并采用分布式消息系统Kafka缓存,消息流入Storm进行分析处理后,将结果存入HBase中。最后从系统的保障性,并行性和实时性等方面进行分析,表明该系统非常可靠地将各个终端收集到的工业数据实时转换成有价值的信息输出,方便数据资源的汇总与优化。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

基于Storm的实时计算框架的研究与应用

互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一种业务需求。Twitter Storm的出现弥补了Hadoop在实时处理方面的不足。本文就Storm的组成、运行机制以及计算模型进行研究,并设计与实现了基于Storm的社交网络中热门话题的实时计算问题。     

基于大数据的智能工厂数据平台架构设计与研究

在分析智能工厂国内外研究现状基础上,对基于大数据的智能工厂数据平台架构技术展开研究,为智能生产的运行分析、预测、决策调控以及数字孪生信息物理融合提供技术参考。探讨了智能工厂定义与内涵,以及智能工厂大数据来源和特征,采用Hadoop、Spark、Storm热门开源大数据计算引擎,提出了数据来源层、数据传输层、数据存储层、资源管理层、处理分析层以及业务应用层构成的智能工厂大数据平台技术架构,有效解决智能工厂大数据多源复杂性和实时性的要求和难点。所提数据平台技术架构将对智能制造和智能工厂的实现具有重要的借鉴价值。     

基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式（如基于人工识别、基于牌照识别、基于射频识别等）.然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.     

基于大数据技术的小水电机组负荷分配优化平台研究及应用

为提高水能利用率,解决小水电机组以最优效率为目标负荷分配问题,开发了 一套基于大数据技术的小水电机组负荷优化分配平台.平台通过对基础数据和在线测量数据的分析,自动识别机组的状态条件、运行工况、稳定性能等情况.在此基础上,给出一种在线基于实时动态自校正的逐次迭代效率曲面拟合方法,解决大数据样本误差噪声引起的效率拟合误差以...     

基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台.利用tornado+ WSGI+ Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析.以网站访问日志作为数据...     

基于大数据的农产品信息服务云平台设计

针对现有农产品信息服务存在的数据质量低、整合难、流通差等问题和大数据时代的工作要求,依托物联网、大数据、云计算等技术,设计一种基于大数据的农产品信息服务云平台.数据获取层主要利用物联网感知采集数据,在大数据中心完成数据转换、处理、分析,通过应用层可视化展示实现"4A"应用.平台进行云化管理,为不同参与主体提供按需服务,...     

基于大数据平台的电力设备运作状态监测系统研究

针对目前电力设备运作状态监测系统焦点都在集群的硬件索引上,对电力设备的线状、性能、节点状况和指令反馈等数据层的监控不足,本文采用大数据技术对电力设备运作状态的显著性及统计因子变量进行相应的决策分析,建成一套通过主动监测设备潜在的运行状态变化的多元回归系统模型。从而有效解决了电力设备运行过程实时监控,潜在故障预警、评估、回溯管理等问题。通过宁夏电力公司的试运行结果表明该模型平台能预期捕获电力设备运作状态下的各项影响变量因素,对这些因素进行掌控将广泛应用于电力设备运作部署与运维。据此结论为该大数据平台的电力设备运作状态监测系统,可自定义设备运行分析报表,实现数据分析结果的随需展现,起到保障电力设备安全、可靠运作,具有一定的推广意义。     

高校一卡通数据监控平台建设与研究

高校一卡通是智慧校园建设工程的重要组成部分。一卡通集成了高校学生的信息服务、身份识别、金融服务、消费信息等重要数据。如何对一卡通数据监控是高校后勤部门进行科学化管理关注的重点。本文对高校一卡通数据监控平台进行研究,利用移动互联网技术实现对一卡通金融消费数据、身份识别数据、图书借阅数据进行实时监控和管理,为后勤部门日常管理提供数据支撑。一卡通数据监控平台利用Storm实时流处理计算框架对数据进行实时监控等。利用该平台能够有效提高后勤管理部门日常管理工作,同时作为数据共享中心为其他部门提供数据源。     

基于大数据平台的水轮发电机组故障诊断系统

水轮发电机组是水电站的关键设备,它的运行状况直接关系到水电站的安全生产。目前对水轮发电机组运行状况的掌握大都通过装设的状态监测系统运行数据的分析比对和计划检修相结合的方式,但往往都是故障已经发生后才能予以发现,不能提前对设备运行工况进行预判。本文详细介绍了一种基于大数据平台的水轮发电机组故障诊断系统,该系统主要由数据处理平台、模型算法平台、可视化展示平台三部分组成,是一种基于大数据平台和互联网技术的典型应用。其主要通过挖掘水电厂现有计算机监控系统、状态监测系统等信息系统的实时及历史数据,再经过一系列关联算法提取这些数据中蕴含的丰富的价值信息来实现对机组的运行状况监视、健康评价、趋势预警、故障诊断、检修指导等。     

基于开源工具集的大数据网络安全态势感知及预警架构

对信息系统安全防护而言,大数据是一把双刃剑。信息量的巨增使得数据价值密度更小,给APT等攻击行为提供了更好的藏身环境;但大数据处理技术对海量数据的聚合、挖掘和分析又使得准确检测及预测攻击威胁成为可能。为增强信息系统的威胁感知与攻击预警能力,构建大数据威胁处理平台势在必行。基于最新的开源大数据组件集,构建了集数据收集整理、数据存储、离线分析发现、实时关联检测、威胁预警和态势呈现等功能于一体的、支持全流程安全事件处理过程的、完整的网络安全态势感知及预警架构,与现有同类平台架构相比,其具有高可用、可扩展、易部署等特点,且能较好地支持威胁情报的引入。     

国网河北省面向调控运行的全电网大数据平台的构建及可视化展示

为实现省、地、县全电网数据的可观可视,在河北南网全电网模型实时数据中心建设基础上,通过现有省地县一体化调度管理系统（OMS系统）接入公司营销数据平台用电信息数据,构建了35kV至500kV厂站的全电网运行模型数据平台。一是开展电网设备和信息命名的标准化工作、建设涵盖省地县的全电网实时数据、推进运行数据与管理信息的关联重构、进行省地县三级数据质量的集中整治;二是进行数据处理架构的全局抽象设计、部署开源数据分析处理工具;三是推进多维度数据分析应用,促进电网管理优化提升。该数据平台的搭建,进一步提高无功电压管理水平,实现调控系统对全网停电事件的权威发布,实现全网设备负载情况全面分析,促进频发监控信息集中治理等,为电网运行数据的深入挖掘和应用打下了坚实物质基础。     

基于大数据远程视频监控Web显示技术

视频监控在高清、智能、大联网时代,正面临着数据洪水的冲击,传统的视频体系架构设计思路正在被挑战。实时显示计算一般都是针对海量数据进行的,一般要求为秒级。基于大数据远程视频监控Web显示技术主要分为两部分：视频数据的入云平台及大数据的实时显示。如何有效地实时显示视频一直是安防领域的研究热点和难点。本文使用的大数据的实时显示主要是数据中心云平台对异地摄像视频数据采集技术、编码技术、视频显示技术、传输技术方式和实时显示技术的研究与分析。本文提出一种基于大数据远程视频监控Web显示技术,能为用户在远程观察,实时、清晰、真实地调阅监控的区域的画面。通过对网络传输速率判断,采用不同机制对本地视频数据进行存储、传送,达到不同网络不同方式实时向web客户端推送实时视频,提高用户实时体验满意度。