基于递推算法的海量COMTRADE数据计算并行化

针对海量暂态数据交换通用格式(COMTRADE)数据计算时,由于基础算法和串行编程造成的效率瓶颈,经过试验和改进,优选出了可适应快速计算的递推全波离散傅里叶算法、加窗递推全波离散傅里叶算法和能滤除直流分量的可递推算法。在这3种递推算法的基础上,提出了海量通道数据计算并行化框架,此框架为避免伪共享效应所引起的效率损失,在每个计算线程内对参与计算的每个通道提供了一个独立的"通道高速缓存队列",并提供基于下标映射的虚拟块数据访问机制,形成递推算法可直接访问的窗口数据映射块。试验证明,此递推算法和并行化框架相结合可大幅提升计算效率,并且可随着CPU核心数的增加和计算数据量的加大,获得线性加速比。     

面向IEEE COMTRADE格式的海量录波数据并行压缩／解压算法

提出了一种直接面向IEEE COMTRADE格式的海量故障录波数据并行压缩/解压算法.算法给出了COMTRADE数据文件中时间信息无损恢复公式,提出了针对状态量数据的优化RLE编码.对高频模拟量数据采用提升格式小波变换,用硬阈值量化后采用基于LZ77和Huff man混合熵编码的Deflate算法进行压缩,而对低频模拟量数据采用RLE编码.为有效分批压缩COMTRADE数据文件,提出了一种基于高频模拟量数据最佳小波分解层数下的最少补零的数据划分算法.映射到不同CPU核心的压缩/解压线程通过竞争通道序号获取计算数据.简述了压缩文件格式及其采用的变长存储和访问技术.试验证明此算法可获得大压缩比,并且可随着CPU核心数的增加和COMTRADE文件的增加,获得线性加速比.     

海量电能质量数据交换格式文件快速解析方案

提出了一种针对海量电能质量数据交换格式文件的快速解析方案。通过快速判断通道序列定义是否变化来避免重复解析相同的数据源记录。利用文件读取线程分解出观测值记录填入任务池中,观测值记录解析线程循环访问任务池,读取观测值记录进行解析后放入数据缓存池,实现了多线程并行解析。基于支持并行扩展的.NET 4.0编程模型实现了所提方案。对现场海量电能质量数据交换格式文件进行解析测试,测试结果显示该方案可显著提高解析效率,并且加速比随CPU核数的增加和数据文件的增多而提高。在四川电能质量一体化数据平台中的成功应用证明了该方案的可靠性和实用性。     

基于COMTRADE的可跨平台在线自动故障分析软件系统

针对当前各种基于IEEE标准电力系统暂态数据交换通用格式（COMTRADE）的故障分析软件无法进行自动在线故障分析、不能有效地与故障信息系统融合的现状,采用多种跨平台技术开发了一套基于COMTRADE的可跨平台在线自动故障分析软件系统。运用了基于可扩展置标语言（XML）配置文件驱动的设计原则,采用STLport和宏技术实现了可跨平台的最简COMTRADE解析算法,利用QT4完成了可跨平台的图形绘制及其图片生成技术,采用Xerces和Xalan实现了可跨平台的XML解析及其转换,可生成HTML,WORD和PDF格式的故障报告,扩展了突变量检测算法,实现了多个故障起始数据位置的检测。讨论了系统中基于选举的可靠故障选相算法,介绍了单端、双端测距算法的选用原则。该软件已与国内多个不同厂家的故障信息系统融合,投入运行。     

基于CUDA的高速并行小波算法及其在电力系统谐波分析中的应用

针对小波分解计算速度慢、实际工程应用少的问题,采用图形处理器(GPU)作为计算平台,提出一种基于计算统一设备架构(CUDA)的细粒度高速并行小波分解算法。通过分析小波Mallat算法的并行性,并考虑GPU单个处理单元计算能力相对较弱的特点及CUDA的多层式存储器结构、多层式线程组织结构和单指令流多线程流(SIMT)体系结构,采用数据分组及轻量级线程任务分解的方式,提出了适合CUDA程序设计模型的高速并行小波分解算法,并将其用于电力系统谐波分析。实验证明,该算法相对于CPU串行小波分解和Matlab engine小波分解的计算耗时,最高可分别达到26倍和65倍的速度提升,且算法具有线性加速能力。     

电网量测数据海量终端的前置中间件技术研究

针对目前智能电网状态监测与分析中面临的WAMS、SCADA、AMI等量测系统海量、多源、高速数据处理问题,提出一种海量终端的数据前置处理中间件技术,着重解决海量数据中目标信息高效挖掘与处理器负载均衡问题。在前置数据处理中间件架构中设计了基于采样的目标信息数据并行挖掘算法,同时通过基于Map-Reduce并行计算模型及轮转算法思想均衡负载,以采样挖掘方式聚合数据内联关系,设计出单机多核并行数据挖掘策略。通过广域电网中海量PMU数据进行对比测试,结果表明文中提出的中间件技术可以有效的提高挖掘速度和多处理器负载均衡度,同时极大地减轻海量数据挖掘中的内存负担。     

基于CUDA技术的海量电力负荷曲线聚类算法

随着用电信息采集、负荷控制等系统中用户负荷数据的爆炸式增长,传统计算框架与方法在处理海量用户负荷聚类、开展负荷特性分析等业务时面临着巨大的计算压力。着眼于计算精度日益提高、计算能力日渐强大的图形处理单元(graphic process unit,GPU),基于Nvidia的统一计算设备架构(compute uniform device architecture,CUDA)提出了一种负荷曲线快速并行K-means聚类算法,采用距离计算并行化、曲线数统计并行化、线程块分配合理化等多个并行加速策略,极大地提升了用户负荷曲线的聚类速度。多个测试算例表明,文中提出的基于CUDA的K-means电力负荷曲线聚类算法加速比高,适应性强,是解决海量负荷曲线聚类问题的好方法。     

多核系统的小波包并行算法及其在电力系统数据压缩中的应用

利用多核并行技术,使用Pthreads与OpenMP并行编程环境在单机双核平台上开发小波包并行算法.通过分析串行算法潜在并行性,基于Pthreads将小波包分解数据分组并分配给不同的线程,由线程并行处理;根据小波包重构对象不同,重构过程实现并行处理近似重构与细节重构.基于OpenMP适当分解循环体,得出小波包嵌套与非嵌套并行算法,并将这些算法应用于电力系统海量数据压缩.与串行小波包算法的耗时比较表明,并行算法的速度可以达到接近串行算法的2倍,显著提高了小波包在电力系统应用中的计算速度及电力系统数据压缩效率.     

并行EEMD算法及其在局部放电信号特征提取中的应用

波形信号是电力设备监测中常见的数据形式,波形信号处理在大数据背景下成为计算和数据双重密集型问题。集合经验模态分解(EEMD)的自适应性在分析非线性、非平稳信号时具有优势,但高计算量限制了其应用。通过对EEMD算法处理波形信号时的并行性分析,在Spark计算平台下设计并实现了波形分段并行与经验模态分解(EMD)过程并行这两种不同结构的并行EEMD算法。波形分段并行适用于较长的波形信号,但结果存在部分误差,而EMD过程并行能获得与原算法一致的结果,但对内存的需求更大,适于数据量不大的波形信号。将并行EEMD算法用于局部放电(PD)波形信号的特征提取,计算固有模态分量的能量参数与样本熵作为特征量。实验结果表明,利用所提特征量能有效区分多种PD类型,所提并行EEMD算法与现有EEMD算法相比计算效率更高,减少了特征提取过程的耗时。     

基于云计算平台Hadoop的线路参数并行辨识算法研究

随着作为电网动态监测技术平台的广域量测系统(WAMS)在电网的应用普及,电网运行人员对于电网动态变化有了实时监测与分析的手段,但WAMS所产生的海量数据以及对于分析平台的高效率要求是WAMS应用的一大挑战。本文深入研究了基于Hadoop云计算平台的线路参数并行辨识算法,并提出算法的设计思路以及实现方法,为高效利用WAMS数据辨识线路参数给出了解决方法。对比实验证明基于云计算平台Hadoop的线路参数并行辨识算法大大提高线路参数辨识算法的计算效能,适合处理该应用中的WAMS海量数据。     

海量COMTRADE数据并行解析算法

针对电力系统暂态监测数据向海量化发展的趋势,以及对各种串行编程分析软件造成的计算压力,研究了一种基于多核的、采用流水线设计思想的海量电力系统暂态数据交换通用格式（COMTRADE）数据文件并行解析算法。在面向二进制格式的并行解析算法中,采用了2阶段的流水线步骤:第1阶段为文件读取;第2阶段为多线程解析。在面向美国标准信息交换码（ASCII）格式的并行解析算法中,采用了3阶段的流水线步骤:前2个阶段与二进制格式的并行解析算法一样,第3阶段为块边缘解析,打破了传统的串行文本解析算法。算法通过有效利用以往被忽视的数据文件中的序号信息,大幅提升了并行解析的并行度。试验证明此算法可获得相当高的加速比,并且可随着CPU核数的增加和COMTRADE数据文件的加大获得线性加速比。     

基于Lustre文件系统的海量暂存COMTRADE数据分布存储模式

研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和使用效率。实验数据表明该模式具有较高的I/O性能,能够满足目前和未来海量电力数据的高速存储管理需求。     

基于VC++和Matlab混合编程实现电力故障再现及分析系统研究

结合VC 和Matlab各自的优势,提出一种基于两者的混合编程方法并应用于电力故障再现及分析系统,以实现故障波形再现、谐波分析、矢量分析和故障测距等功能。采用VC 实现系统框架和界面的绘制,采用Matlab实现计算和绘图,能充分发挥Matlab计算和绘图方便的优点,并克服了M文件运行依赖Matlab环境的缺陷。简要介绍了将MatlabM文件直接嵌入VC 环境,实现计算和绘图的方法。着重介绍了故障测距算法原理,其采用一种改进的基于微分方程模型的单端测距算法实现。谐波分析采用二次抛物线插值和快速傅里叶变换实现。系统通过对基于COMTRADE格式故障录波文件的分析,以数据、表格和图形的方式综合显示分析结果。结果表明系统有良好的应用效果。     

一种基于Spark和聚类分析的辨识电力系统不良数据新方法

随着电力系统智能化建设的不断深入和推进,电力系统数据呈现海量化、高维化的趋势。针对电力系统中的不良数据将导致电力系统状态估计结果的准确性降低,而传统聚类算法处理海量高维数据时单机计算资源不足,近年来较流行的MapReduce框架不能有效处理频繁迭代计算等问题,提出一种基于Spark的并行K-means算法辨识不良数据的新方法。以某一节点电力负荷数据为研究对象,运用基于Spark的并行K-means聚类算法提取出日负荷特征曲线,分别对输电网状态估计中的不良数据进行检测和辨识。选用EUNITE提供的真实电力负荷数据进行实验,结果表明此方法能有效提高状态估计结果的准确性,与基于MapReduce框架的方法相比,具有更好的加速比、扩展性,能更好地处理电力系统的海量数据。     

Spark-based Parallel OS-ELM Algorithm Application for Short-term Load Forecasting for Massive User Data

Abstract

The data type and quantity of user load data show an exponential growth, so that the traditional load forecasting methods can hardly meet the load forecasting requirements of massive users. Aiming at this problem, a parallel OS-ELM short-term load forecasting model based on Spark is proposed in this article. By analyzing the characteristics of the Spark framework and the MapReduce framework, the Spark big data processing framework is determined as the basic framework for processing massive user load data, and a parallel K-means load clustering model based on Spark is designed. The on-line sequential learning machine OS-ELM makes the hidden layer data of computing each incremental training dataset mutually independent, therefore, a Spark-based parallel OS-ELM (SBPOS-ELM) algorithm is put forward. The proposed model is applied under the smart electricity big data environment and the training samples are selected using the incremental training dataset to make a short-term prediction of the millions of users’ smart meter electricity load, which verifies the feasibility and effectiveness of the proposed model. At last, comparing with other commonly used short-term load forecasting algorithms, the experimental results show that SBPOS-ELM algorithm has higher accuracy and operation efficiency.     

网络保护调控一体化的研究与应用

为了提高数据的实时性和准确性,针对现状的不足,提出了网络保护调控一体化系统方案、分布式的全景数据平台方案。在方案中,监控系统由传统的四层结构变为三层,过程层、设备层、调控层;全景数据平台方案针对不同区域,采用分布式实时数据库,同时对海量历史数据用序列数据库存储,采用对象、容器定义对数据建模;利用数据模型,在不同的运行方式下,针对稳态数据,采用并行计算,获得全面数据,提高数据实时性。通过应用验证,说明新的方案对解决目前面临的问题具有比较大的优势。     

基于云-边-端协同的电力物联网用户侧数据应用框架

物联网技术渗透到电力系统所形成的电力物联网承载着海量数据流,通过电力业务数据化和电力网络信息化,促进电力数据业务化目标的实现。目前电网基于云计算的集中式数据存储与处理,使得海量细粒度的用户侧数据无法得到有效应用。基于此,文章提出了基于云-边-端协同的用户侧数据应用框架,以打破由于计算资源有限而导致用户侧与电力系统的交互壁垒。利用边缘计算与云计算的互补性,以预测预警、分类聚类和需求响应3类用户侧基础数据应用为例,设计了用户侧数据应用框架,以期实现自下而上和自上而下的双向数据流、业务流的协同循环,从而达到对用户侧数据进行广而深的价值挖掘的目标。最后,从物理层、平台层和业务层3个维度对实现该框架的关键技术进行了分析与总结。     

Implementation of the waveform relaxation algorithm on a sharedmemory computer for the transient stability problem

Parallel processing to obtain time domain simulation of power system dynamic behavior has been studied for over a decade. In this paper, a parallel across space implementation of a waveform relaxation (WR) based algorithm is presented. The algorithm can take full advantage of the inherent properties of power systems, such as coherency grouping and localized fault response, thus significantly speeding up the simulations. In the proposed implementation, a system is broken up into several subsystems based on its coherency, and then each processor is devoted to the computation of the waveform of each subsystem. This is the first time the WR algorithm has been implemented on a parallel machine (sequent symmetry S81) and tested on large power systems. The numerical results show very promising performance compared with the commonly used very dishonest Newton algorithm, with overall speedups of up to 27 obtained for a 2500-bus system using 20 processors