分布式配电网监测的流计算实时并行处理技术

针对配电网大量实时监测数据先存储后处理造成延迟大的问题,提出一种基于Storm分布式流计算框架的监控信息流快速处理方法。结合流计算和全分布式内存计算优势,利用拓扑组件的并行编程模型和流计算节点集群,设计监测数据流拓扑实例,实现配电网监控信息的流计算集群处理。以铁路10 k V配电网监控系统为算例,对不同喷嘴、螺栓组件构成的拓扑实例进行集群测试,验证了先计算后存储的流计算可以提高调度监控实时处理效率。结果表明:集群环境下,拓扑实例的拓扑组件输出结果正确,在数据存储之前进行内存计算可使监测数据平均处理延时控制在百毫秒级内。     

面向智能调度监测的流计算并行滑动窗口技术

针对智能调度监测中大量实时数据的快速处理问题,在实时流计算框架和并行拓扑编程基础上,研究一种配电网监测信息流计算的并行滑动窗口实时处理新方法。结合连续遥测对象的拓扑并行处理过程,利用并行滑动窗口的窗格聚集、窗格元组缓存与窗口聚集等设计技巧,实现监测信息流连续计算的快速滑动窗口拓扑实例。以一个配电网调度监控的工程系统为算例,对若干组拓扑实例进行快速滑动窗口的多节点集群测试,结果表明:集群环境下各元组可得到ms级的窗口计算平均处理延时,合理设置拓扑工作进程的并行度和螺栓组件执行线程的并发数等并行参数有利于降低滑动窗口处理延时,验证了流计算拓扑的集群和并行度对提高智能配电网大规模连续监测信息的实时响应能力和处理效率具有重要意义。     

配电网监测数据微批处理的血统链标记容错法

针对分布式配电自动化系统存在数据量井喷、海量监测数据缺乏高效的分布式故障容错机制的问题,提出一种血统链标记容错新方法。利用弹性分布式数据集、微批计算的记录级容错和血统链标记序列融合处理的设计技巧,实现了分布式数据容错中血统链的追溯和条件标记的自动选择。以铁路配电网监测采集的数据为算例,搭建了4机集群的调度监控平台进行容错测试。以发生频次最高的单数据节点故障为例,测试结果表明:对于包含3×10~6条监测数据记录的弹性分布式数据集,血统链标记容错模型的集群CPU平均占用率波动小于1.5%,磁盘占用率下降4.2%;当迭代次数达到600、800次时,迭代运算耗时分别降低24.3%和42.9%;所提方法实现500 ms流处理延时的同时,对集群资源的使用情况也具有较好的优化效果,验证了该方法对分布式集群容错的有效性。     

基于Storm架构的电力物联网流数据处理

数据的采集、分析和处理是目前电力系统重点关注的问题之一。电力物联网系统中数据业务处理需求多样,尤其是流数据的处理对时延要求严格。然而,现有的数据处理方法形式单一,不能很好地满足低时延处理要求。因此,提出了基于Storm架构的电力物联网流数据处理方法。首先,基于Storm拓扑结构提出分布式流数据处理框架。进而采用流水线式的处理方式,从而达到缩短处理时间的效果。在数据接入后,采用循环队列和流转算子的方法。然后再通过边缘计算处理海量的数据,实现高效的协同工作。此外,通过支持向量机预测算法预测数据的发展趋势,采用清洗技术对脏数据进行处理,解决数据传输过程中的污染情况。仿真结果表明,与传统数据处理方法相比,所提流数据处理方法大大缩短了数据处理时间,满足了大量流数据处理的需求。     

电网量测数据海量终端的前置中间件技术研究

针对目前智能电网状态监测与分析中面临的WAMS、SCADA、AMI等量测系统海量、多源、高速数据处理问题,提出一种海量终端的数据前置处理中间件技术,着重解决海量数据中目标信息高效挖掘与处理器负载均衡问题。在前置数据处理中间件架构中设计了基于采样的目标信息数据并行挖掘算法,同时通过基于Map-Reduce并行计算模型及轮转算法思想均衡负载,以采样挖掘方式聚合数据内联关系,设计出单机多核并行数据挖掘策略。通过广域电网中海量PMU数据进行对比测试,结果表明文中提出的中间件技术可以有效的提高挖掘速度和多处理器负载均衡度,同时极大地减轻海量数据挖掘中的内存负担。     

基于大数据的智能电网数据调度与快速分发方法研究

针对云计算集群环境,智能电网的大规模数据处理面临巨大压力,任务调度和大规模数据分发的快速处理是亟待解决的问题。文章基于云计算和大数据处理技术,提出一种用于电力数据处理任务调度和分发的多队列动态优先级调度算法和节点选择算法,可以及时可靠地处理和分发关键数据。通过仿真将该算法与经典算法进行比较,验证算法的准确性和有效性。结果表明,该方法可以有效地分配节点负载,在任务完成时间和完成率上优势明显。该研究为我国电力大数据信息平台的研究提供参考和借鉴。     

配电网SCADA时序数据集群的RWI快速查询技术

针对配电网大量调度监控准实时数据查询效率不高的问题,利用富网络组件容器和大数据二级索引机制将配电大数据嵌入到大规模并行处理(massively parallel processor,MPP)查询引擎中,提出一种跨平台的配电网数据RWI快速查询新方法。综合运用Impala数据守护进程,实现大量准实时数据在调度监控应用的快速查询。以铁路10k V配电网监控系统工程导出的数千万级实际时序数据为算例,进行加载测试和集群查询性能测试。结果表明:基于二级索引的RWI方法异步回调机制,在正常运行下的集群磁盘I/O读取速度约为存储速度的10倍,能将大数据集群与监控界面端异步回调接口间的数据延迟降至数百ms级,合理提高集群性能,能够适当地提升海量数据响应能力,但远低于扩大集群节点数对海量数据响应能力的提升效果。     

省级电能计量自动化系统海量数据的分布式并行处理

为提高省级电能计量自动化系统海量数据的计算效率,提出分布式并行处理的方法和模型,通过对电能计量自动化系统的分析、业务数据处理流程的梳理,设计开发了海量数据处理平台。在海量数据处理平台和传统的存储过程平台上对实际运行数据进行测试对比,结果表明所设计的海量数据处理平台能有效地解决海量数据存储方式、海量数据吞吐、容错能力和高效计算处理等方面的问题。     

配电网监测数据的分布式Map压缩-查询技术

针对配电自动化中大量电力监测数据的处理问题,提出了回避聚合操作的配电网监测数据分布式Map压缩-查询新方法。通过将监测数据分布式Map压缩存储,利用HQL查询引擎及压缩接口将分布式Map压缩应用到连接查询的混洗阶段中,减小传递到查询聚合端的数据量,提高压缩数据的查询速度,并推导了时效性的相关公式。以北京某动车段10 kV电力远动监控系统的实测数据为例,搭建了四节点测试集群。压缩导入对比测试表明,分布式Map压缩速度快于分布式Reduce压缩,分布式Map的Map_Deflate压缩处理时间比分布式Reduce_Deflate减少了45.3%;压缩-查询测试表明,当数据量为2×10~7记录级时,分布式Map的Map_LZO格式压缩-查询耗时大幅降低,比混洗阶段不压缩-查询时减少了31.6%,验证了分布式Map压缩对加速查询的时效性。     

以网络为基础的大规模电力系统计算示范应用研究

电力网格是网格技术和电力监控与自动化调度技术相结合的产物.电力网格具有整合电力系统现有仿真数据和各种计算资源的能力,并提供并行/分布式高性能计算,因此可以协助解决大规模电力系统仿真计算问题.介绍了电力网格的概念、特点及结构,并通过以网络为基础的电力系统机电特性并行化仿真示范实例分析,提出了机电特性通用分布式仿真体系.在该体系下,开发了基于脚本的计算环境,在单机/共享内存机/集群机/网格计算模式下自动并行化执行计算任务,实现了基于电力网格技术的动态安全评估数据级/功能级并行应用示范.     

电网调度控制系统分布式任务管理的体系架构与关键技术

随着电网规模的不断扩大,采集数据数量的快速增长,数据处理和分析业务向集群化发展,目前单机方式的任务管理在保证分布式任务的高效性、可靠性上面临严峻的挑战。文中提出了一种适用于电网调度控制系统的分布式任务管理技术。首先,分析了电网调度控制系统对分布式任务管理的需求,然后介绍了分布式任务管理的体系架构和自动部署、负载均衡、冗余容错等关键技术和典型应用。测试结果表明该技术能够实现任务在多个节点上的高效计算和可靠运行。     

基于均衡KNN算法的电力负荷短期并行预测

为提高电力负荷预测精度,应对海量、高维数据带来的单机计算资源不足的问题,提出一种基于均衡KNN算法的短期电力负荷并行预测方法。针对电力负荷数据特征,采用K均值聚类算法进行电力负荷场景划分;为提高场景划分精度,采用反熵权法量化负荷特征的权重系数;针对不均衡的负荷场景,提出均衡KNN算法对待预测负荷进行精确的场景归类;采用BP神经网络算法对海量历史数据进行负荷预测模型的分场景训练与预测;采用ApacheSpark架构对提出的模型进行并行化编程,提高其处理海量、高维数据的能力。选取某小区居民用电数据进行算例分析,在30节点云计算集群上进行测试验证,结果表明基于该模型的负荷预测精度与执行时间均优于传统预测算法,且提出的算法具有优异的并行性能。     

电力全业务统一数据中心突发性数据处理任务调度方法

国家电网有限公司正在开展电力全业务统一数据中心的建设,以实现全业务范围、全数据类型、全时间维度数据的统一存储、管理分析。在全业务范围数据全量推送过程中,尤其在突发性海量数据涌入时,全业务统一数据中心的处理能力面临着巨大挑战,数据处理任务调度方法是提高其数据处理能力的关键。通过对电力全业务统一数据中心设计方案和架构的分析,给出一种数据处理任务控制调度模型,从任务的时间和有效价值两方面综合分析任务的优先级。提出了基于多级队列的动态实时优先级调度(DRPS)算法,并分析了不同类型处理任务的优先级动态变化趋势。采用CloudSim平台模拟全业务统一数据中心的数据抽取—转换—加载(ETL)任务,并进行仿真测试。结果表明DRPS算法相比于动态价值密度(DVD)算法及最早截止优先(EDF)算法,在截止期错失率方面有明显下降,任务完成率也有明显提高。     

基于Hadoop生态环境的大数据平台在电网公司海量数据准实时处理中的应用

随着智能电网的发展,电网公司的各类业务应用产生了海量的数据,传统信息技术的解决方案在数据存储和分析技术方面存在一定的瓶颈,其架构难以满足对数据海量准实时处理的需求。基于Hadoop生态环境的大数据技术是以分布式文件系统为基础的大规模并行数据处理平台,它能充分利用硬件集群的资源,进行并行计算和内存流计算,大大提高了数据运算分析的效率,全面支撑电网公司如准实时线损运算、设备准实时在线故障研判预警等对海量准实时数据处理分析的需求,有望大大提高数据管理的效率。     

基于云计算的分布式电源管理系统设计与实现

为了解决分布式电源管理系统海量数据处理的难题,提出了一种基于Hadoop的云计算解决方案,通过云平台实现对海量数据的快速、高效处理。设计了一种有效的数据存储方案,通过HBase数据库实现了海量数据的分布式存储,并利用高效的分布式文件系统(HDFS)集群架构实现了数据存储的高可用性(HA)设计。针对数据处理结果的特点,提出了一种对处理结果的有效存储方案。     

Petri网结合Dijkstra算法的并行测试任务调度方法研究

针对测试系统中的并行任务调度方法复杂且难以优化的问题,提出并实现了一种利用Petri网并结合Dijkstra算法的并行测试任务调度方法,从而减少了搜索算法的复杂度。该方法通过对Petri网可达数分析工具的充分利用,省去了传统方法在得到任务调度结果过程中的一些步骤。首先建立测试系统的Petri网模型并生成其可达树;然后对可达树模型进行加工和改进,添加状态节点间的联接关系;进而在加工、改进后的可达树模型基础上应用Dijkstra算法得到并行测试任务最佳的任务调度策略。针对一个工程实例应用任务调度方法进行了仿真实验与分析,仿真实验结果证明了该方法的有效性和正确性。     

基于Spark环境变压器故障并行诊断

为处理海量的电力设备监测数据,满足智能电网快速诊断检修需求,以电力变压器故障诊断为例,提出了基于Spark环境下电力变压器监测数据并行诊断方法。以油中溶解气体数据作为实验输入,利用并行朴素贝叶斯进行故障分类。实验结果表明,并行朴素贝叶斯方法在变压器故障诊断中诊断速度要快于传统的单机环境下诊断速度,基于Spark电力设备监测数据并行诊断实验平台,能够快速处理数据量规模巨大、模型复杂的场景;集群加速比随着节点个数增加明显提高,能够适用电网大数据快速处理的需求。     

基于分布式图计算的台区负荷预测技术研究

随着智能电网数据采集技术的发展,电网公司积累的海量数据为台区负荷预测提供了数据基础。该文重点研究基于Apache Spark计算框架的台区短期负荷预测技术。首先,建立了包含温度、湿度、日类型等因素及负荷时间序列的动态贝叶斯网络,作为台区负荷预测模型。其次,为解决基于海量数据的模型参数计算及大规模配变负荷预测的并行化问题,搭建了基于Spark Graph X并行图计算组件的分布式计算平台,利用Graph X的Vertex Cut和并行边检索快速计算概率矩阵,以Pregel计算模型并行处理前向-后向算法,实现预测方法的分布式集群计算,保证全局预测任务的并行化。最后,通过实验结果表明,基于分布式图计算的台区负荷预测技术具有较高的预测精度和较快的计算速度,是一种高效可行的电力大数据分析技术。     

基于分布流的城市照明监控系统优化策略研究

随着城市照明设施规模的日益扩大,照明设施的管理难度不断增加,丞需采用自动化技术手段提高处理问题的及时性和准确性。通过探讨城市照明监控系统的系统结构,设计了城市照明监控系统优化策略,采用的流计算框架Storm,并配合Flume数据收集工具和Kafka消息队列,实现了数据的实时处理,利用Redis自带数据类型实现对象化存储。通过该优化策略,可充分满足多种的数据处理和存储需求,提高了数据的实时性和系统的横向扩展能力。     

智能变电站海量在线监测数据处理方法

通过对智能变电站状态监测数据的特点以及Hadoop云计算技术的分析,研究数据检测机制以及索引构建方法,提出一种基于Hadoop的智能变电站在线监测数据可靠存储及快速查询方法.该方法将变电站在线监测所收集的海量变电设备在线监测数据冗余存储在Hadoop分布式文件系统(HDFS)中,对在线监测数据的索引表结构进行优化,并存储在分布式结构化数据库(HBase)中,实现海量在线监测数据的快速查询.搭建基于Hadoop的在线监测数据处理实验平台,进行了基准测试、排序测试以及在线监测数据读写性能测试等.测试结果表明,上述方法及平台在查询时间、读写效率及吞吐量等方面具有良好的性能,能够满足智能变电站大规模在线监测数据的可靠存储及高效处理的需要.