基于Spark的电网工控系统流量异常检测平台

针对传统的电力网络流量检测安全预警系统在面对海量高维度数据时，其在精度、实时性、扩展性以及效率上都无法满足需求的问题，建立出一种基于Spark的电网工控系统流量异常检测平台.该平台以Spark为计算框架，主要由数据采集与网络流量深度包检测协议解析模块，实时计算数据分析处理模块，安全预警预测模块和数据存储模块组成，为流量异常检测提出了一套完整的流程.实验结果表明，该平台能够有效地检测出异常流量，做出安全预警，方便工作人员及时做出决策，这充分说明该平台非常适用于电力控制系统，能够应对海量高维复杂数据做出实时分析以及安全预警，极大地提高了电网工控系统的安全性能.     

基于Spark的分布式数字信号处理算法库设计

传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.     

基于Spark离线和实时的电商用户行为分析系统

随着电商规模的逐渐扩大，传统的Hadoop资源利用率和计算速度都无法全面满足发展需求，因此提出将低延时、基于内存计算的Spark作为计算引擎。利用SparkCore、SparkSQL做离线分析、利用SparkStreaming做实时分析，将Hadoop分布式文件系统（HDFS）作为分布式文件存储，利用YARN做资源管理与程序调度，从而完成了一个电商的行为数据分析系统，通过Flume、Kafka等技术对数据进行采集及存储，利用Spark进行数据处理。经过测试，电商用户行为分析系统表现突出，具有良好的应用价值。     

基于Spark的实时视频分析系统

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展. 本文针对大规模实时视频监控提出了新的解决方案. 基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势. 系统根据视频处理算法划分为单机处理与分布式处理. 并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作. 结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.     

场站飞行保障数据可视化平台设计与应用

为提升航空兵场站信息化建设过程中的数据应用与管理能力,提出了一种基于Spark的场站飞行保障大数据可视化平台.以场站信息化系统和物联网络数据采集数据为基础,利用Spark计算引擎集成Kafka消息队列,使用Hive完成数据列表库的建立和存储,基于Spark RDD和Spark SQL完成数据预处理与交互,并选择Vue框架嵌入ECharts组件完成前端数据可视化呈现,并最终对设计方案进行了实现与应用.相较于当前业务隔离的信息系统建设模式,平台具备更高的数据融合与处理分析能力,能够更好地实现场站飞行保障数据价值.     

基于大数据技术的区域煤矿监管数据服务平台设计

针对煤矿监管体系中安全风险监测预警系统联网数据多级重复上传、数据不一致现象,各级安全监管机构数据存储计算资源缺乏、关联分析和数据挖掘困难等问题,设计了基于大数据技术的区域煤矿监管数据服务平台。该平台采用Kafka分布式消息队列,将区域内煤矿监测监控数据生成标准化Kafka数据体,批量上传至云平台Kafka集群;通过发布-订阅模式提供监测监控实时数据消费服务,减轻了网络传输开销,避免了联网数据多级上传和过滤带来的不利影响;采用Spark Structured Streaming计算引擎和Spark SQL进行数据实时计算和历史数据统计分析,通过集成的各类数据分析挖掘算法,为数据挖掘和预测预警提供支持;采用HBase列存储数据库实现海量历史数据的可靠存储,通过与HBase相关联的Hive数据仓库建立各类主题数据模型库,满足数据的多维关联分析需求;通过统一安全权限认证的数据订阅服务为各级监管机构提供所需的煤矿监测监控数据、统计分析数据和数据挖掘结果,将后台数据服务中心与前端监管监察业务系统解耦,通过数据服务为各级监管机构提供数据定制和消费服务,提高了数据利用效率。应用结果表明,平台可满足区域煤矿监测监控数据的存储、分析计算和数据共享需求。     

Spark Streaming框架下的气象自动站数据实时处理系统

针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测,验证了该系统具有低延迟和高吞吐量的优势,运行状况良好,负载均衡。实验结果表明,Spark Streaming用于气象自动站的实时业务处理,数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应,完全能满足自动站数据的应用需求,有效地支撑天气预报业务。     

基于分布式平台的大数据分析处理系统

设计并实现基于分布式平台的大数据分析处理系统,基于Spark平台用以处理大规模时间序列数据.系统框架主要分为存储层、算子层和算法层.在存储层,系统基于HDFS和Hive完成对大规模时间序列数据的组织和索引.在算子层,系统为用户提供了Spark平台上时间序列数据常用的基本操作,并允许用户直接使用这些算子实现自定义的时间序...     

基于云计算的智能电网调度平台研究

针对我国能源领域近年来出现的新问题,诸如新能源大量并网和消纳、源网荷的联动、提高电网数据处理效率、增强电网风险防范能力等,提出利用电力大数据和云计算技术构建综合型的智能电网调度云计算平台,借助调度云计算平台高效的数据计算能力,提高电网中调度大数据的处理效率,合理配置电力资源。阐述调度云计算平台的工作原理,并在调度云计算平台的基础上,将电网的调度结构和外部气象、地质、水文、定位、图像识别等信息相结合,组建调度云应用平台。以省级电网调度为例,按照电网需求和调度功能,在调度云应用平台上进行功能模块设计,构建省级电网调度云计算平台。通过试验说明调度云计算平台在调度数据处理方面确有优势。最后对调度云计算平台的实现工作展开探讨,阐述调度云计算平台实现的前提条件。     

基于Spark平台城市出租车乘客出行特征分析

从海量出租车GPS轨迹数据中挖掘和分析城市出租车乘客的出行特征,可以为城市交通管理者和出租车行业管理者在城市交通规划与管理、城市交通流均衡与车辆调度等方面提供决策依据.基于Spark大数据处理分析平台,选择YARN作为资源管理调度系统,采用HDFS分布式存储系统,对出租车GPS轨迹数据进行挖掘.给出了基于Spark平台的出租车乘客出行特征的挖掘方法,包括出租车乘客出行距离分布、出租车使用时间分布及出租车出行需求.实验结果表明,基于Spark平台分析方法能够快速且准确的分析出出租车乘客出行特征.     

国网河北省面向调控运行的全电网大数据平台的构建及可视化展示

为实现省、地、县全电网数据的可观可视,在河北南网全电网模型实时数据中心建设基础上,通过现有省地县一体化调度管理系统（OMS系统）接入公司营销数据平台用电信息数据,构建了35kV至500kV厂站的全电网运行模型数据平台。一是开展电网设备和信息命名的标准化工作、建设涵盖省地县的全电网实时数据、推进运行数据与管理信息的关联重构、进行省地县三级数据质量的集中整治;二是进行数据处理架构的全局抽象设计、部署开源数据分析处理工具;三是推进多维度数据分析应用,促进电网管理优化提升。该数据平台的搭建,进一步提高无功电压管理水平,实现调控系统对全网停电事件的权威发布,实现全网设备负载情况全面分析,促进频发监控信息集中治理等,为电网运行数据的深入挖掘和应用打下了坚实物质基础。     

基于流网络的流式计算动态任务调度策略

针对大数据流式计算平台中输入数据流速急剧上升所导致的计算延迟升高问题,提出了基于流网络模型的动态调度策略,并将其应用于Flink数据流计算平台。首先,通过定义有向无环图（DAG）中每条边的容量和流量将其转化为流网络模型,并通过容量检测算法确定每条边的容量值;然后,通过最大流算法计算对应的增进网络和优化路径,从而在输入速率上升阶段提升集群的吞吐量,并通过评估时空代价论证了算法的可行性;最后,讨论了重要参数对算法执行效果的影响,并通过实验得出了在不同类型的作业中推荐的参数取值。经实验验证得出：所提算法与Flink平台现有的任务调度策略相比,在输入速率上升阶段对不同作业类型中集群吞吐量的优化比均高于16.12%。实验结果表明动态调度策略在满足任务延迟约束的前提下有效提高了集群的吞吐量。     

哈密市山洪灾害预警信息平台设计与实现

哈密市山洪灾害具有峰量大且集中、涨峰持续时间较短、破坏力大等特点，山洪的监测监视和实时预警是灾害防御的重要手段。哈密市山洪灾害预警信息平台的设计与实现，遵循哈密市防汛减灾“以时间换空间、以空间换时间”的思想理念，在哈密市水利一张图、一张网、一个库的基础上，汇聚气象、雨量、水位、 视频、应急预案和防汛工程图及相关责任人通讯录等防汛减灾联合调度的关键信息，以前端感知、信息监测和分析研判为主线，实现汛期雨水情的实时监测、监视、预警等，做到提前监测发现和应急准备，为防汛值班、 预报预警、应急处置、安全度汛提供技术支撑和保障。同时，实现哈密市中小型水库视频监视的汇聚，形成统一的视频监视平台，为哈密市委市政府组织应急局、气象局、水利局等多部门协同作业，发挥联合决策、调度优势提供支撑。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

基于科学计算可视化技术的电网调度系统应用

科学计算可视化技术（Visualization in Scientific Computing）,是一门融合了包括图形学、图象处理、数据管理、网络技术、人机界面等多个计算机学科在内的综合技术。由于电力科学具有数据量大、分析复杂等特点,科学计算可视化技术与电力系统的结合有着广阔的应用前景。介绍了一种基于科学计算可视化技术实现的电网综合调度系统,该系统将对保障电力系统的安全运行,提高电网调度的科学决策水平提供有力保障。     

智能制造系统基于数据驱动的车间实时调度

智能制造系统采用大量先进的信息技术,为车间实时调度提供技术基础.各类信息技术在生产制造过程中的广泛应用使得制造系统积累了大量与生产调度相关的数据,因此,通过利用历史生产调度数据和智能装备收集到的实时生产数据,建立基于数据驱动的生产实时调度方法成为新型制造环境下实现高效调度的新思路.针对智能制造环境下的混合流水车间实时调度问题,提出基于BP神经网络的数据驱动的实时调度方法,从历史近优的调度方案中提取用于调度知识挖掘的样本数据,通过BP神经网络训练学习获取生产系统状态与调度规则的映射关系网络,并将其应用于生产在线实时调度.数值实验表明,所提出的方法优于固定单一调度规则,在不同的调度性能指标下其效果均稳定且良好.     

基于智能的配电网电力大数据三维场景可视化分析

配电网电力大数据的三维场景重构是实现数据优化挖掘的关键,提出基于人工智能的配电网电力大数据三维场景可视化分析方法。建立配电网电力大数据三维场景的网格分布结构模型,并进行配电网电力大数据三维场景实时数据监测,根据监测结果进行配电网电力大数据的统计特征分析,对配电网电力大数据三维场景实时数据采用信息融合和模糊层析性分析方法进行信息融合和自适应调度,提取配电网电力大数据的三维可视化分布特征量,采用视觉特征重构技术,实现对配电网电力大数据三维场景可视化重构,在人工智能算法控制下提高电力大数据三维场景可视化重构的精度。仿真结果表明,采用该方法进行配电网电力大数据三维场景可视化重构的精度较高,提高了配电网电力大数据挖掘的效能。     

供电企业基于三层分析模型的线损异常分析及处理研究

线损精益化管理一直都是国家电网公司一项重点工作,近几年线损数据获取技术日趋成熟,但是分析方法依旧匮乏,严重影响了高损治理的效果。为解决电网运行中高损治理不佳的问题,我们提出了用大数据分析方法来解决传统线损管理问题——供电企业基于三层分析模型的线损异常分析及处理研究。首先,搭建了一个由Hampel抗差算法、加权皮尔逊算法和随机森林算法三种不同算法构成的三层线损异常分析模型;通过该模型,可以结合不同用户用电量大小不一的特点,自上而下的分析大电量异常用户和小电量异常用户。然后将该模型嵌入公司已有的线损监控平台中,可以实现对全省线损数据的实时监测、有效挖掘、深度分析、精准定位和工单管控,形成基于三层分析模型的线损异常分析及处理新方法。该方法对分析处理10kV高损线路和0.4kV高损台区中效果显著。