配电网监测数据的分布式Map压缩-查询技术

针对配电自动化中大量电力监测数据的处理问题,提出了回避聚合操作的配电网监测数据分布式Map压缩-查询新方法。通过将监测数据分布式Map压缩存储,利用HQL查询引擎及压缩接口将分布式Map压缩应用到连接查询的混洗阶段中,减小传递到查询聚合端的数据量,提高压缩数据的查询速度,并推导了时效性的相关公式。以北京某动车段10 kV电力远动监控系统的实测数据为例,搭建了四节点测试集群。压缩导入对比测试表明,分布式Map压缩速度快于分布式Reduce压缩,分布式Map的Map_Deflate压缩处理时间比分布式Reduce_Deflate减少了45.3%;压缩-查询测试表明,当数据量为2×10~7记录级时,分布式Map的Map_LZO格式压缩-查询耗时大幅降低,比混洗阶段不压缩-查询时减少了31.6%,验证了分布式Map压缩对加速查询的时效性。     

分布式配电网监测的流计算实时并行处理技术

针对配电网大量实时监测数据先存储后处理造成延迟大的问题,提出一种基于Storm分布式流计算框架的监控信息流快速处理方法。结合流计算和全分布式内存计算优势,利用拓扑组件的并行编程模型和流计算节点集群,设计监测数据流拓扑实例,实现配电网监控信息的流计算集群处理。以铁路10 k V配电网监控系统为算例,对不同喷嘴、螺栓组件构成的拓扑实例进行集群测试,验证了先计算后存储的流计算可以提高调度监控实时处理效率。结果表明:集群环境下,拓扑实例的拓扑组件输出结果正确,在数据存储之前进行内存计算可使监测数据平均处理延时控制在百毫秒级内。     

调度中心流计算集群排队模型的CQB并行均衡控制方法

针对配电调度中海量监测数据的处理延迟越来越大、计算节点任务不均衡的问题,在分布式消息队列和实时流计算框架的基础上,提出一种基于排队模型的配电监控信息的CQB并行处理方法。以分布式消息队列作为数据缓存,综合运用流计算拓扑并行编程模型,设计配电监测数据的拓扑实例,并对流计算集群处理拓扑计算任务时的轮询任务调度方法进行改进。以铁道配电监控系统数据和加拿大魁北克水电公司配电负荷数据为算例,对若干组拓扑实例进行数据处理延时测试和集群性能测试。结果表明:通过对消息队列分区数和流计算组件并行数的优化设置,可有效提高海量配电监控信息的响应能力和扩展集群的处理效率,改进任务调度方法可使流计算集群整体负载更加均衡,降低配电监控数据处理延时。     

基于Hadoop的输电线路在线监测数据模型及技术研究

输电线路是电力系统中关键的组成部分,输电线路在线监测技术的应用产生了海量线路运行数据,对数据的深入挖掘成为现阶段电力大数据研究的热点。随着智能电网数据应用的深入,为保证电力系统可靠运行提供了新的解决方案。在研究输电线路在线监测数据类型、数据特征、数据需求的基础上,提出了符合智能电网电力大数据结构特征的Hadoop监测数据模型设计,包含了多维度数据信息输入、分布式数据存储、分布式数据处理的三个层次。通过搭建基于Hadoop集群的大数据处理环境,在MapReduce并行运算模式下实现PCA-SVM聚类算法,以输电线路故障类型识别为例,实现了基于数据分析的输电线路故障辨识,验证该模型实现输电线路在线监测的可行性。     

电网调控集群分布式实时数据库的设计与关键技术

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。     

基于遗传优化聚类的GRU无损电力监测数据压缩

针对电力调度中心监测数据记录体量大、存储困难的问题,提出基于遗传优化K-means聚类的门控循环单元神经网络无损数据压缩方法。首先,搭建分布式集群,将多维原始电力数据聚类成相似性较高的数据块,并利用遗传算法对聚类进行寻优,提高数据聚类的效果;再通过门控循环单元神经网络训练数据编码的概率分布模型,结合算术编码对数据进行编码压缩;最后,以多个电力数据集为算例进行分析。经验证本文所提的压缩算法能实现数据的高比例压缩、优化集群性能。     

实用化分布式动态潮流计算系统的设计与实现

分布式动态潮流可以很好地解决电网规模过大和数据广域分布的一体化潮流计算问题。从实用化角度出发,结合公共对象请求代理结构(CORBA)技术优势,设计并实现了一种基于CORBA和异步迭代模式的分布式动态潮流实用化计算系统,解决了实际电网在边界存在较大重叠区域时的分布式计算一体化建模问题。通过引入注册、激活、启动的分布式管理机制,解决了多子系统同时发起计算时的冲突消解等关键问题。在搭建的模拟广域网测试平台上,以IEEE 118节点系统为例,对该系统的快速性、鲁棒性和异步迭代效果等进行了测试;以深圳地调电网为例,通过与OPEN-3000能量管理系统(EMS)接口,完成了实用化测试。测试结果证明了所设计系统的实用性和异步迭代潮流算法的有效性。     

Hadoop云构架的智能调度无损集群压缩技术

针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法。对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主机和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境。利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式。对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1%,相对传统无损压缩方法提高30%以上。     

基于多区块链结构的综合能源系统调度构架

综合能源系统(IES)调度中存在难以维护供能主体隐私、难以辨别数据真伪、安全性和可靠性低等问题.文中利用分散式调度方法和区块链中分布式数据存储、智能合约、共识机制、多链扩容和加密技术,提出了包括迭代链、终值链以及数据层、网络层、合约层、共识层、应用层的IES调度构架.该构架以数据层为基础,采用无向联通结构建立主体间的通信网络;在合约层封装基于拉格朗日乘子法的分散式调度模型;在共识层,针对分散式调度的数据一致性,迭代链和终值链分别应用一致性协议算法和拜占庭容错共识机制.算例验证结果表明,所提IES调度构架基于少量通信数据可有效运行,能够防止主体背叛、削弱服务器宕机的影响,提高了IES调度的隐私性、安全性和可靠性.     

基于Spark环境变压器故障并行诊断

为处理海量的电力设备监测数据,满足智能电网快速诊断检修需求,以电力变压器故障诊断为例,提出了基于Spark环境下电力变压器监测数据并行诊断方法。以油中溶解气体数据作为实验输入,利用并行朴素贝叶斯进行故障分类。实验结果表明,并行朴素贝叶斯方法在变压器故障诊断中诊断速度要快于传统的单机环境下诊断速度,基于Spark电力设备监测数据并行诊断实验平台,能够快速处理数据量规模巨大、模型复杂的场景;集群加速比随着节点个数增加明显提高,能够适用电网大数据快速处理的需求。     

按列存储的配电网监测数据包区间编码正规化压缩处理

针对不断增长的配电网按行存储数据的模式造成数据体量持续增大、压缩率难以提高的问题,利用按列存储的数据包架构和扩展区间编码的正规化处理技巧,提出了一种大体量配电网监测信息的压缩处理新方法。以列数据包为底层存储、知识网格为组织架构,将区间编码和正规化处理融入底层监测数据包的并行压缩处理进程中。以北京某动车段的配电网调度监测工程数据为算例,进行列数据包区间编码的正规化压缩测试。仿真结果表明:扩展区间编码的正规化处理技术可使监测信息压缩率提高至94%,获得了比已有云计算集群更好的压缩效果,通过动态调整映射区间,即可方便实现在无穷区间中对海量化监测信息编码压缩的工程应用需求。     

基于Spark平台和并行随机森林回归算法的短期电力负荷预测

随着智能电网、全球能源互联网的建设与相关技术的发展,现代电力系统中电力大数据的格局已经形成,如何对高维海量数据进行深度挖掘以实现数据的充分利用,成为当前电力工作者们关心的问题。该文针对电力大数据环境下高精度和实时性的负荷预测展开了研究,提出了基于Spark平台和并行随机森林回归算法(Spark platform and parallel random forest regression,SP-RFR)的短期电力负荷预测方法,通过3次弹性分布式数据集(resilient distributed datasets,RDD)转换实现单机随机森林算法的并行化改进,并在Spark分布式集群环境下实现部署。结合某区域实际电力负荷数据设计试验,进行模型训练和回归预测,通过试验证明,对同等的数据集,基于Spark平台的并行随机森林回归算法预测精度高于单机负荷预测算法;并行随机森林算法受离群数据干扰较小,且随着数据集的增大,并行随机森林算法表现出良好的鲁棒性;与单机算法在运行时间上相比,随着数据集的增大,基于分布式集群的方法优势明显。该文提出的方法能够有效地在分布式环境中进行电力负荷预测,为负荷预测提供了一种新思路。     

基于可信计算的主动配电网信息安全防护研究

针对智能电网重要组成部分的主动配电网信息安全防护问题,首先对主动配电网"发、输、配、用"电环节中存在的信息安全问题进行分析;然后参考配电自动化系统设计针对区域能源互联网提出总体安全可信防护方案,依据方案建立可信链条,保障节点、网络连接及应用的可信;最后对方案进行示例验证,数据传输、存储主要采用SM2和SM4加密算法。考虑到下行数据会有大量重复密码运算过程,采用批量认证方法,通过使用Merkle哈希树合并多认证请求,提高了数据处理效率。     

配电网调度监测数据的多线程集群共享内存折叠压缩方法

针对配电网中数据指数增长造成的读写时延越来越长的问题,提出一种多线程集群共享内存折叠压缩新方法。将数据结构扁平化处理融入于数据压缩之中,通过启用内存折叠方法,在写入内存过程中消除数据冗余,改变数据结构,减少刷新到磁盘的次数,同时缓解磁盘块缓存的压力,从而提高对数据的读写性能,以千万条数据记录的某动车段10kV配电网远动调度监控系统实测数据为例,搭建4个节点测试集群,进行集群内存压缩导入延时测试与读写性能测试。实验结果表明,启用内存压缩能优化内存结构,提升调度监测数据库的读写性能。     

基于虚拟变电站的配电网薄弱区域集群双层规划研究

位于配电网末端的偏远山区常常由于存在供电可靠性不足的问题而被视为配电网薄弱区域,为了提高此类地区的供电可靠性,引入虚拟变电站和集群规划的概念和方法,提出了一种基于虚拟变电站的分布式电源与储能双层选址定容规划模型。上层模型以集群效能指标最大为目标,从结构性和功能性两方面对配电网薄弱区域进行集群划分,规划结果为各集群的划分方案;下层模型以考虑用户损失费用的年综合费用最小为目标,在各集群内部建设虚拟变电站,规划结果是集群内分布式电源的接入位置及容量、储能装置的接入容量及功率;针对集群规划模型的特性,文章提出计及孤岛运行的用户停电损失费用计算方法,并以双层迭代的混合粒子群算法进行求解。算例部分以云南含分布式小水电的某典型场景为例,验证了所提模型的可行性和求解方法的有效性。     

基于信度融合和滑模控制的暂态电压扰动源容错性定位

提出了一种基于信度融合和滑模控制的含分布式电源(DG)智能配电网中实现暂态电压扰动源(TVDS)容错性自动定位方法。在基于网络化电能质量监测系统平台的TVDS容错性自动定位系统框架下,对其中关键功能模块的实现原理进行详细分析,包括基于电能质量监测点优化布置的电能质量动态状态估计、扰动方向判定信度影响因素分析及信度融合、DG接入对扰动方向判定影响规律分析与归纳。然后,提出一种基于滑模控制的TVDS容错性定位算法,实现综合考虑了扰动方向融合信度、DG接入方向误判校正的TVDS容错性自动定位。最后,通过IEEE 34节点含DG配电网络算例,分析验证了所提TVDS容错性定位方法的可行性和有效性。     

Energy efficient nonfragile control protocol for nonlinear large-scale systems with input quantization

The problem of robust stabilization for a class of nonlinear large-scale systems with the energy constraints and time-varying actuator faults is addressed in this article. In the considered system, the stabilization criteria is achieved via a sensor-network-based distributed fault-tolerant controller. Moreover to limit the consumption of energy by the sensors, the measurement size reduction technique and communication rate reduction approach are implemented such that the resulting closed-loop system is stable within a predefined extended passive performance index level. In particular, the sensor signal quantization technique is used to reduce the frequency and size of the transmitted data packet in the communication sequence. Based on the switched system theory and Lyapunov approach, a new set of sufficient conditions is obtained in the form of linear matrix inequality constraints to ensure the exponential stabilization of the considered system. The developed fault-tolerant resilient control gains are designed by resorting to the cone complementarity linearization algorithm. Moreover, a nonisothermal continuous stirred-tank reactor with interconnection is considered as an example to demonstrate the effectiveness of the proposed design technique.     

基于弹性分布数据集和有向无环图的潮流优化云计算系统设计研究

随着智能电网数据量的不断增加,现有的电力平台无法满足系统高性能计算的需求。针对这一问题,引入云计算进行分布式电力系统内存计算框架的设计,在分布式文件系统中存储智能电表、电子设备等采集数据。结合内存计算框架Spark和牛顿-拉夫逊法,提出弹性分布数据集(RDD)和有向无环图(DAG)优化的牛顿-拉夫逊法。通过实验分析潮流计算时间、加速比和实验集群规模,验证所提算法具有良好的性能。所做研究工作为国内智能电网发展提供参考和借鉴。     

考虑分布式新能源动态不确定性的配电网灾后时序负荷恢复方法

现有弹性配电网负荷恢复研究较少考虑到接入的分布式新能源出力不确定性及其动态更新对负荷恢复策略的影响,同时新兴的动态微电网技术能根据不确定因素的预测曲线灵活调整网络拓扑,进一步提升系统弹性。为此,提出了一种考虑分布式新能源动态不确定性的配电网灾后时序负荷恢复方法。建立了基于高斯Copula的不确定因素预测概率分布滚动修正模型,并提出了基于切片采样法的场景生成方法形成分布式新能源出力和负荷的典型场景;在考虑动态微电网划分的基础上,建立了配电网多时段负荷恢复模型;将滚动修正与负荷恢复模型相结合,建立了弹性配电网在线负荷恢复决策框架。所提方法在改进的IEEE 37节点馈线测试系统中得到了验证,算例结果表明其能充分考虑动态变化的不确定性以及灵活的配电网拓扑对负荷恢复策略的影响,从而有效提高系统的恢复能力。