富网络调度界面的多事件线程快速GAS回调模式

针对配电网调度监控图形界面的部署和图元处理效率不高的问题,将矢量图元嵌入富网络组件容器的应用框架中,提出一种富网络架构的调度界面快速GAS监控新模式。基于异步分层回调框架,综合运用GWT交叉编译、JSNI本地化接口和支持多事件线程的并发回调机制,给出了调度图形界面关键代码的编译处理流程,实现了调度监控界面免部署和矢量图元的局部刷新。以10 k V配电网调度自动化系统为算例,对调度监控界面进行了渗入测试和并发测试,结果表明:异步回调主机可获得小于20%的处理器使用率和7%的内存占有率,SVG界面的多事件线程局部刷新和异步回调机制,使监控画面平均刷新延时降为百毫秒级,验证了GAS模式对提高界面响应能力的有效性。     

面向智能调度监测的流计算并行滑动窗口技术

针对智能调度监测中大量实时数据的快速处理问题,在实时流计算框架和并行拓扑编程基础上,研究一种配电网监测信息流计算的并行滑动窗口实时处理新方法。结合连续遥测对象的拓扑并行处理过程,利用并行滑动窗口的窗格聚集、窗格元组缓存与窗口聚集等设计技巧,实现监测信息流连续计算的快速滑动窗口拓扑实例。以一个配电网调度监控的工程系统为算例,对若干组拓扑实例进行快速滑动窗口的多节点集群测试,结果表明:集群环境下各元组可得到ms级的窗口计算平均处理延时,合理设置拓扑工作进程的并行度和螺栓组件执行线程的并发数等并行参数有利于降低滑动窗口处理延时,验证了流计算拓扑的集群和并行度对提高智能配电网大规模连续监测信息的实时响应能力和处理效率具有重要意义。     

海量配电网调度监测信息的非主行键倒排索引查询技术

为解决配电网调度监控系统数据体量不断增大导致数据检索速度越来越慢的问题,结合数据同步技术与倒排索引机制,提出了一种二级索引架构。使用数据库的同步组件与索引器生成非主行键索引,在搜索时先获得数据主行键,再根据主行键检索到需要的数据,完成非主行键检索,再利用倒排索引技术改变数据的信息结构,缩短检索时间。以某铁路局10 kV供电调度监控信息为算例,进行非主行键检索测试。结果表明:完成非主行键检索所用时间为161 ms,满足在配电网调度监控系统中对数据进行快速检索的工程应用需求。     

分布式配电网监测的流计算实时并行处理技术

针对配电网大量实时监测数据先存储后处理造成延迟大的问题,提出一种基于Storm分布式流计算框架的监控信息流快速处理方法。结合流计算和全分布式内存计算优势,利用拓扑组件的并行编程模型和流计算节点集群,设计监测数据流拓扑实例,实现配电网监控信息的流计算集群处理。以铁路10 k V配电网监控系统为算例,对不同喷嘴、螺栓组件构成的拓扑实例进行集群测试,验证了先计算后存储的流计算可以提高调度监控实时处理效率。结果表明:集群环境下,拓扑实例的拓扑组件输出结果正确,在数据存储之前进行内存计算可使监测数据平均处理延时控制在百毫秒级内。     

调度中心流计算集群排队模型的CQB并行均衡控制方法

针对配电调度中海量监测数据的处理延迟越来越大、计算节点任务不均衡的问题,在分布式消息队列和实时流计算框架的基础上,提出一种基于排队模型的配电监控信息的CQB并行处理方法。以分布式消息队列作为数据缓存,综合运用流计算拓扑并行编程模型,设计配电监测数据的拓扑实例,并对流计算集群处理拓扑计算任务时的轮询任务调度方法进行改进。以铁道配电监控系统数据和加拿大魁北克水电公司配电负荷数据为算例,对若干组拓扑实例进行数据处理延时测试和集群性能测试。结果表明:通过对消息队列分区数和流计算组件并行数的优化设置,可有效提高海量配电监控信息的响应能力和扩展集群的处理效率,改进任务调度方法可使流计算集群整体负载更加均衡,降低配电监控数据处理延时。     

变电设备状态监测大数据的查询优化方法

变电设备状态监测数据体积大、价值密度低,传统数据处理方法不能很好地满足状态监视、评估与诊断等应用快速查询的需要。文中通过对状态监测数据特点和分布式列数据存储方法的分析,给出了变电设备状态监测的大数据处理框架。通过对监测时间、监测设备编号和设备编号等数据属性的组合,设计了3种状态监测数据复合行键结构,以提高状态监测数据行键查询的灵活性。为了解决在行键未知情况下全表扫描效率低下的问题,提出基于协处理器的二级索引构建方法,实现在非行键约束条件下的快速查询。实验结果表明,基于协处理器的二级索引方法在查询效率上比无索引和IHBase二级索引方式有了明显提高,对状态监测数据写入速度影响较小,能够较好地满足大数据环境下变电设备状态监测大数据快速、灵活查询的需要。     

配电网SVG接线界面的低延迟异步刷新数据引擎技术

针对分布式监控应用中SVG界面的实时数据交互慢和实时信息处理效率低的问题,研究了一种配电网分布式监控SVG界面刷新的实时Ajax数据引擎技术方案。从实时交互信息、实时Ajax数据引擎和可伸缩矢量图动态刷新的操控,到开关量和模拟量数据结构设计,给出了Ajax数据引擎和SVG图元局部刷新的关键实现方法。以配电网的调度监控界面为算例,进行模拟量和状态量的交互测试,实现了监控界面的SVG局部更新。对图元数据的测试表明,SVG界面刷新延时约为百毫秒级,验证了实时数据引擎在分布式监控界面快速刷新处理中的有效性。     

电网调控集群分布式实时数据库的设计与关键技术

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。     

配电网调度监测数据的多线程集群共享内存折叠压缩方法

针对配电网中数据指数增长造成的读写时延越来越长的问题,提出一种多线程集群共享内存折叠压缩新方法。将数据结构扁平化处理融入于数据压缩之中,通过启用内存折叠方法,在写入内存过程中消除数据冗余,改变数据结构,减少刷新到磁盘的次数,同时缓解磁盘块缓存的压力,从而提高对数据的读写性能,以千万条数据记录的某动车段10kV配电网远动调度监控系统实测数据为例,搭建4个节点测试集群,进行集群内存压缩导入延时测试与读写性能测试。实验结果表明,启用内存压缩能优化内存结构,提升调度监测数据库的读写性能。     

基于省地县一体化调度运行管理系统的配电网抢修信息管理

基于省地县一体化调度运行管理系统,设计开发了配电网故障抢修信息管理系统。充分分析了该平台的技术架构,研究了省地县故障抢修纵深调度的业务协同技术和大规模系统的准实时数据共享技术,实现了省地县纵向故障抢修信息的准实时同步及故障抢修与横向系统间的准实时数据同步。同时,研究了多维度数据可视化建模技术,实现了全省业务范围内多维度故障抢修数据的多样化同步展示。该系统能实现配电网故障抢修的纵深调度和抢修实时跟踪,提升故障异常应急响应速度,简化抢修管理工作,提高配电网故障的抢修工作效率。     

配电网监测数据的分布式Map压缩-查询技术

针对配电自动化中大量电力监测数据的处理问题,提出了回避聚合操作的配电网监测数据分布式Map压缩-查询新方法。通过将监测数据分布式Map压缩存储,利用HQL查询引擎及压缩接口将分布式Map压缩应用到连接查询的混洗阶段中,减小传递到查询聚合端的数据量,提高压缩数据的查询速度,并推导了时效性的相关公式。以北京某动车段10 kV电力远动监控系统的实测数据为例,搭建了四节点测试集群。压缩导入对比测试表明,分布式Map压缩速度快于分布式Reduce压缩,分布式Map的Map_Deflate压缩处理时间比分布式Reduce_Deflate减少了45.3%;压缩-查询测试表明,当数据量为2×10~7记录级时,分布式Map的Map_LZO格式压缩-查询耗时大幅降低,比混洗阶段不压缩-查询时减少了31.6%,验证了分布式Map压缩对加速查询的时效性。     

基于Hadoop生态环境的大数据平台在电网公司海量数据准实时处理中的应用

随着智能电网的发展,电网公司的各类业务应用产生了海量的数据,传统信息技术的解决方案在数据存储和分析技术方面存在一定的瓶颈,其架构难以满足对数据海量准实时处理的需求。基于Hadoop生态环境的大数据技术是以分布式文件系统为基础的大规模并行数据处理平台,它能充分利用硬件集群的资源,进行并行计算和内存流计算,大大提高了数据运算分析的效率,全面支撑电网公司如准实时线损运算、设备准实时在线故障研判预警等对海量准实时数据处理分析的需求,有望大大提高数据管理的效率。     

配电云主站架构方案与关键技术

针对传统配电自动化系统主站功能扩展难、物联网设备接入能力不足、海量多源数据存储计算能力差的现状,应用云计算、大数据及移动互联网等技术,构建了适用于中低压配电网设备运维与接入需求的配电自动化大四区云主站系统。构建由商用组件、开源组件、自产实时监控平台组件构成的混合型省级配电云主站系统,构建省级配电网运行监控与运行状态管控类微服务和微应用,实现海量终端数据管理、设备管理、应用管理,满足业务功能分责、分权、分区管理支撑配电网调度与运维的总体要求,实现多类数据沉淀,为后期开展大数据分析决策类应用提供支撑。     

用于电力大数据快速组合查询的动态索引技术

随着采集系统的建成与完善,电力系统积累了大量的电力数据,电力大数据时代也随之到来。虽然Hadoop可以通过普通计算机的横向扩展把处理压力分摊给每台计算机从而获得高效的处理性能,但是当每台计算机存储的数据量都非常大时,简单的逐行扫描已经无法满足性能需求,建立高效的索引机制和快速的组合查询功能就变得非常重要。因此本文结合Jimo大数据的动态可删节索引技术,提出一种适用于电力大数据的索引机制与查询方法,并构建了电力大数据高效索引与快速组合查询的一体化解决方案。实际的计算分析表明,本文算法极大地提升了电力大数据的组合查询效率,很好地满足了系统的性能需求。     

基于GIS平台的配电网调度管理系统

介绍了国内配电网调度管理系统现状,阐述了基于GIS平台的配电网调度管理系统的总体设计、模块功能及主要特点。该系统将GIS作为配网调度管理系统的基础数据平台,提供配电网实时监控、调度作业管理、高级应用分析软件等功能模块,设计符合IEC IEC61970/61968标准。系统的应用全面提升了配网调度中心工作管理的自动化水平。     

配电网监测数据微批处理的血统链标记容错法

针对分布式配电自动化系统存在数据量井喷、海量监测数据缺乏高效的分布式故障容错机制的问题,提出一种血统链标记容错新方法。利用弹性分布式数据集、微批计算的记录级容错和血统链标记序列融合处理的设计技巧,实现了分布式数据容错中血统链的追溯和条件标记的自动选择。以铁路配电网监测采集的数据为算例,搭建了4机集群的调度监控平台进行容错测试。以发生频次最高的单数据节点故障为例,测试结果表明:对于包含3×10~6条监测数据记录的弹性分布式数据集,血统链标记容错模型的集群CPU平均占用率波动小于1.5%,磁盘占用率下降4.2%;当迭代次数达到600、800次时,迭代运算耗时分别降低24.3%和42.9%;所提方法实现500 ms流处理延时的同时,对集群资源的使用情况也具有较好的优化效果,验证了该方法对分布式集群容错的有效性。     

基于短期预测信息和长期值函数近似的大规模电动汽车实时随机优化调度算法

针对大规模电动汽车(Electric Vehicle, EV)和可再生能源接入背景下主动配电网的实时随机调度问题,提出了一种结合短期预测信息和长期值函数近似的双层实时调度模型。为应对大量EV接入后的维数灾问题,首先提出双层调度框架,上层建立EV集群模型,下层根据EV特性提出功率分配算法对每辆EV制定充电计划,实现上层集群指令的完全消纳并满足各EV充电的需求。同时,为应对EV行为、实时电价及可再生能源出力不确定性的问题,实时优化时采用预测算法预测短期内未来接入的EV行为、可再生能源最大出力与实时电价,并通过值函数近似评估短期决策后系统的值函数,从而实现EV集群充电计划、可再生能源调度计划与购电计划的实时分阶段决策。仿真算例表明,所提模型可以实现大规模EV接入下主动配电网的实时随机调度,同时具备良好的鲁棒性。     

异步传输的分布式铁路10 kV电力监控系统

为解决提速铁路10 kV电力系统运行参数变化快、海量实时数据传输和处理困难的问题,设计研发了实时异步传输的电力远动监控系统.对铁路10 kV电力系统的运行、录波数据的远程传输和海量实时数据的处理进行了分析设计.提出了利用发布/订阅原理进行异步数据传输的模式,考虑到实时数据点多、变化快的特点.建立了实时数据交换的二级缓存...     

基于动态实时电价的电动汽车集群分层优化调度

针对大量电动汽车接入电网后的无序充放电对电网造成的不利影响,提出了一种基于实时电价的双层优化调度模型,根据接入电动汽车的可充放电时间段,将其划分为若干个集群,在保证配电网经济安全运行的同时,满足车主充电需求。该调度模型上层以负荷曲线方差及实时电价下用户的充放电总成本最小为目标,采用粒子群算法求解得到集群的实时最优充放电功率,并将集群的电动汽车充放电负荷与电价联动调整;下层引入充放电优先级指数,利用能量缓冲一致性算法,制定出集群内的各辆电动汽车的实时充放电策略。以典型的区域配电网负荷数据为例,通过仿真验证了所搭建的集群优化模型和求解算法的实用性和有效性。     

基于流计算的实时监控预警架构研究及应用

随着国家电网IT建设的迅速发展,大数据问题逐步呈现.根据国家电网运营监控系统中遇到的实际问题,提出一种基于流计算的实时监控架构,通过试验,该系统具有极强的扩展性,能够在百GB级别数据量下,获得秒级的实时监控响应,对比传统的批处理架构,基于流计算的实施监控架构在监控实时性、集群扩展性上具有更大的优势.