PMU数据预处理及压缩算法

随着广域测量系统在电力系统越来越广泛的应用,大量PMU实测数据产生,为了高效的对数据进行传输、存储和应用,通过深入研究PMU数据的特点,利用波形相差法和坐标递减法对数据进行预处理,在处理基础上,利用改进的递归Huffman算法进行压缩。通过预处理和对解压缩算法的改进,提高压缩率,缩短了解压缩时间。     

声波测井数据压缩的一种SPIHT改进算法

大量声波测井数据的传输和存储迫切需要有效的压缩编码技术,文中把声波测井数据看成声波图像,利用提升算法构造整数小波变换,同时针对井下数据处理的实时性,提出了一种改进的SPIHT算法,并设计了一种适合井下数据处理的并行实现结构,实际应用表明该方法能够满足高速实时处理的需要.     

Dijkstra算法在最佳抢修路径计算中的应用

为了保证配电网故障后的快速恢复正常供电,将Dijkstra算法应用于基于GIS配电网的最佳抢修路径计算中.借助电网GIS的系统网络,基于以空间换时间的方法,改进拓扑网络的存储形式使Dijkstra算法在最短的时间内计算出最佳抢修路径.采用三个数组来存储网络拓扑图,一个存储和路径相关的数据(ArcList);一个存储和节点相关的数据(NodeList),而数组ArcAttrib则用来记录各边的权值.最后通过算法实现证明了上述存储方法的可行性和快速性.     

循环冗余校验在USB数据传输中的应用

循环冗余校验(简称CRC)是一种可靠性很高且实现方式简单的串行数据校验方法,在通信及计算机数据存储中得到了广泛应用.为了将CRC运用到USB数据传输中,本文首先研究了CRC的基本原理;然后根据USB协议的要求,对USB数据传输中CRC码的生成方法进行了特殊的考虑;最后用Verilog HDL硬件描述语言描述了USB数据传输中CRC码的生成算法.仿真结果表明,此算法合理、正确,可以满足USB数据传输的需要.目前此算法已经被成功地运用到自行开发的USB IP核中.     

Dijkstra算法在最佳抢修路径计算中的应用

为了保证配电网故障后的快速恢复正常供电,将D ijkstra算法应用于基于G IS配电网的最佳抢修路径计算中。借助电网G IS的系统网络,基于以空间换时间的方法,改进拓扑网络的存储形式使D ijkstra算法在最短的时间内计算出最佳抢修路径。采用三个数组来存储网络拓扑图,一个存储和路径相关的数据(ArcL ist);一个存储和节点相关的数据(NodeL ist),而数组ArcAttrib则用来记录各边的权值。最后通过算法实现证明了上述存储方法的可行性和快速性。     

基于时间序列的配电网数据清理和融合方法研究

随着配电物联网的快速发展,海量异构数据不断地从生产、传输、消费端产生,这些数据具有更新速度快、质量差、价值密度低、时间序列性强的特点。如何从这些海量数据中提取高质量的有价值数据,减少数据冗余,需要有效的数据清洗融合方法。为此,提出了一种基于时间序列相似性度量的数据清理、融合方法,该方法利用近似符号聚集、欧式算法和调整相似度加权的相似序列完成数据清理,利用多元异构数据融合算法完成数据融合。选用1440点负荷数据进行实验,结果表明,该方法可以检测配电网异常数据、填充空缺数据、减少数据冗余、融合异构数据,处理后的数据精度高,计算复杂度低,整体提高了数据质量,为配电物联网应用提供可靠的基础数据。     

局部放电信号的提取与传输

介绍一种远程监测和传输系统。针对局部放电测量中存在的缓变窄带干扰,采用Ｍａｌ－ｌａｔ塔式小波分解算法提取局部放电信号。传输系统完成数据的采集、数据信号的压缩、传输和放电数据信号解压、分析处理、存储。该系统在实际电话线上进行放电信号传输实验表明正确率９５％以上,适合实际应用要求。     

云平台下时间序列数据并行化排列熵特征提取方法

随着高级量测体系和各类监控系统的大规模建设发展,时间序列数据的规模呈指数级增长,在智能电网大数据中占有较大的比重。时间序列数据的特征提取是影响数据挖掘质量的关键步骤,在大数据背景下,传统的特征提取算法已无法满足海量数据处理的需求。结合云计算平台和MaxCompute大数据处理技术,设计实现了时间序列数据的表存储方法和并行化的时间序列数据排列熵特征提取算法。在云计算平台上采用不同规模的数据集对并行化算法进行测试,验证了并行化排列熵算法的正确性和高性能。     

融合大数据算法的网络信息安全系统设计

针对网络信息安全造成的损失，采用DM9000型号的以太网芯片作为控制器的主芯片，将网卡地址存放在具有可更改属性的只读存储器中，支持网络信息的加密传输。利用压缩感知的网络数据传输中心高密度信息安全存储方法，实现了网络数据高密度传输，并对信息安全存储。通过RSA算法和CBC算法实现数据信息的加密。试验结果表明，网络信息安全加密保护加密过程中平均耗时1 500 ms左右，并且加密保护被解密数据所占比最低，在6%以下。系统安全性能高，并且运行速度快。     

变压器油光谱监测系统中的实时数据存储

为解决变压器油光谱监测系统实时数据量大、难以传输的问题,提出了具有针对性的ISDT算法以实现数据压缩,节约存储数据所需的内存空间。经典SDT算法对数据的适应性弱,抗噪声能力不足,并存在重要数据丢失的可能。ISDT算法首先对二次谐波进行SG滤波,而后对影响浓度测量的极点数据进行直接记录,最后根据允许压缩误差动态调整门限值ΔE,在保留有用信息的基础上实现了高数据压缩比。实践表明,在数据重要信息不丢失及数据误差满足要求的前提下,ISDT算法可有效降低数据冗余度,使实时数据的高效存储与传输成为可能。     

广域测量系统数据在线无损压缩算法

广域测量系统(wide-area measurement system,WAMS)中,相量测量装置(phasor measurement unit,PMU)上传数据频率为100Hz,存储占用空间和写入速度对系统要求很高。旋转门(swing door trending,SDT)压缩算法在保留原始数据足够精度的条件下,压缩效率低,Huffman编码压缩计算时间长,难以适应WAMS实时数据的采样速度。文中给出了一种WAMS实时数据在线压缩算法：对原始数据做初等变换,只保存过程数据的增量,浮点(float)型数据分解为单字节存取,用改进的LZW(Lemple-Ziv-Welch)算法实现WAMS过程数据的在线无损压缩。6 000个连续实时数据压缩计算时间为16 ms,压缩比小于30%,可以满足电力系统分析计算对过程数据的要求。工程实践表明,该算法有效可靠,可满足WAMS实时数据的存储要求。     

基于快速提升小波变换的改进型SPIHT算法在图像压缩中的应用

为保证图像传输的实时性和在保证图像质量下获得高压缩比,对图像压缩技术提出了新的改进型算法。提出的基于快速提升(lifting)小波变换[1,2]的改进型SPIHT(SetPartitioninginHierarchicalTrees)[3]图像编码算法,引入快速提升小波变换以改进变换过程,且利用量化编码后出现许多连续零这一特点,将熵编码与SPI HT编码统一进行,一次完成,熵编码采用变长零游程方法。仿真结果表明,图像经该方法编码后峰值信噪比和效率上都得到了提高。该方法可以应用于电力系统中远程图像监控系统的     

小波去噪与压缩在电厂设备中的应用

为解决600 MW发电机组辅机设备噪音振动数据占用大量存储空间及缓解其数据传送压力问题,针对噪音振动数据的特点提出了一种基于小波阈值去噪和最优小波包压缩的压缩算法。新算法针对小波软硬阈值函数的不足,提出了新的阈值函数对噪音振动数据进行去噪;新算法使用相关系数法获取最优的小波基。仿真表明,改进阈值函数相对原阈值函数在保留高频原始信号的能力和去噪能力方面都有增强;使用改进阈值函数去噪后,小波包压缩能完整的重构信号。最优小波包压缩与改进阈值去噪算法已初步应用于岳阳电厂辅机设备的数据压缩,算法对节省硬盘容量、保护硬盘及高效的数据传送有着重要的作用。     

工业监控组态软件实时历史数据库的分析与实现

详细分析了实时历史数据库系统的总体需求和组态软件的系统结构,设计了一种存储密度大、存储空间利用率高的存储文件结构;引用内存映射文件技术处理数据文件的读取,提高了数据文件的I／O速度;在压缩策略中,采用死区压缩和一种改进型的旋转门压缩算法,得到了很好的效果。     

基于动力电池海量数据的特性化压缩处理研究

动力电池数据的后台存储和分析无论是对于动力电池故障预警、动力电池回收、溯源管理,还是为动力电池的后续价值评估,都提供了数据支撑。面向海量数据传输存储的发展需求,文章提出针对动力电池数据特性的处理压缩方法。将多种压缩算法进行对比选择;针对动力电池的不同数据类型、不同运行场景进行多方面分析研究,给出相应的处理方法;最终经过对运行数据的处理压缩,实现数据传输、存储成本的有效降低。     

无损压缩CTW算法的改进及性能分析

在有限的传输带宽下传输数据时,传输率受到限制,如何高效地压缩传输数据,以便减少存储空间和传输时间,已经成为迫切需要解决的问题。本文在一种无损数据压缩算法CTW(context tree weight)的基础上,提出了改进的CTW算法。该算法采用了新的更低冗余度的概率估算法,并继承了CTW算法所具有的速度快和抗差错能力强等特点,与通用压缩软件Winzip相比能够获得更好的压缩率,从而保证了实时处理的可行性。本文基于对实际数据的实验,针对此算法的工作原理进行了综述,并提出了扩展和进一步研究的建议。     

基于 LSA-MP 改进原子分解的 电能质量数据压缩方法

电能质量数据压缩是电能质量问题检测和识别中的重要步骤,其本质即为探寻电能质量稀疏特征的过程。针对稀疏分解中常用的匹配追踪算法在匹配最佳原子时计算复杂度高、耗时长,不能满足电力信号分析实时性要求的问题,应用收敛精度高、收敛速度快以及全局寻优能力强的闪电搜索算法搜索最佳原子,提出了闪电搜索匹配追踪算法。利用所提算法在构建的电能质量相关原子库中对电能质量信号进行原子分解,提取电能质量特征参数,将提取到的参数作为压缩后的电能质量数据,实现电能质量数据压缩。实验结果表明,所提算法匹配最佳原子的耗时约缩短为原算法的1/98,基于所提算法的电能质量数据压缩方法在匹配最佳原子满足电力信号分析的实时性要求,具有较高的压缩率和较低的重构误差,提高了数据压缩的性能。     

RAY-Period压缩算法的研究与实现

针对电力系统中电能量数据传输的特点，研究并分析了数据库压缩算法RAY与周期压缩算法相结合的压缩算法。结合位图压缩方法，详细阐述了RAY和周期算法的压缩思想。最后给出了RAY—Period算法的压缩流程，并用C语言最终实现了这一算法。经过测试，能够对电能量数据进行有效压缩，有效减少了网络传输数据量。具有很大的实用价值。     

数据压缩在用电信息采集远程通信中的应用

探讨了用电信息采集系统中远程通信数据压缩的重要性和可行性,并从信息论角度指出远程通信报文存在的信息冗余度,提出采用数据压缩的方法可以缩短用电信息采集数据的传输时间,提高数据传输效率。并且,在GPRS/CDMA等无线公网通信技术为实际主导的通信方式现状下,数据压缩还可以降低数据传输成本,为电力企业节约通信流量费用。通过运用无损压缩领域的经典算法LZ77进行仿真实验,验证了数据压缩的效果。实验结果表明,LZ77算法对于常用的电能量和电能质量等长通信报文可以起到良好的压缩效果,对于低压居民电量采集等应用可以极大地缩短数据传输时间,为用电信息数据的及时获取提供保障,改善用电信息采集系统的工作效率。