基于EMS时间序列数据的实时全息无损压缩方法的研究与应用

针对时间序列数据库存在压缩实时性差、损失数据精度、压缩比低等缺陷,提出了时间序列数据实时全息无损压缩方法。介绍实时全息无损压缩方法利用差值、异或运算等方式实现时间序列数据的快速、无损的高效压缩过程,并在实验室测试中通过实时全息无损压缩方法和Zip、Lzo压缩算法对120 MB的相同时间序列数据文件分别进行正弦数据、递增数据、功率扰动数据和开关量数据压缩测试。测试结果表明,实时全息无损压缩方法的压缩比最高可达到100∶1;可实现时间序列数据的无损、高效、快速压缩,具有强大的容错能力。     

Hadoop云构架的智能调度无损集群压缩技术

针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法。对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主机和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境。利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式。对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1%,相对传统无损压缩方法提高30%以上。     

广域测量系统数据在线无损压缩算法

广域测量系统(wide-area measurement system,WAMS)中,相量测量装置(phasor measurement unit,PMU)上传数据频率为100Hz,存储占用空间和写入速度对系统要求很高。旋转门(swing door trending,SDT)压缩算法在保留原始数据足够精度的条件下,压缩效率低,Huffman编码压缩计算时间长,难以适应WAMS实时数据的采样速度。文中给出了一种WAMS实时数据在线压缩算法：对原始数据做初等变换,只保存过程数据的增量,浮点(float)型数据分解为单字节存取,用改进的LZW(Lemple-Ziv-Welch)算法实现WAMS过程数据的在线无损压缩。6 000个连续实时数据压缩计算时间为16 ms,压缩比小于30%,可以满足电力系统分析计算对过程数据的要求。工程实践表明,该算法有效可靠,可满足WAMS实时数据的存储要求。     

一种基于第二代小波变换的图像压缩方案

本文提出了一种基于第二代小波变换与SPIHT算法、自适应算术编码相结合在图像压缩中的编／解码方案,对CDF(2,2)和FBI 9-7小波压缩的性能进行了分析和比较,获得了良好的无损或近无损压缩效果。研究结果表明这一方法充分利用了医学图像的统计特征,对于医学图像具有较高的无损压缩率,压缩的空间和时间复杂度低,利用质量递进手段可以获得满意的压缩比和PSNR,达到视觉无损、数据近无损的目的。对于典型的医学图像(X线图像、CT图像、MRI图像等)的存储、传输和检索等应用,本方案是十分有效的。     

LZ77在PHM数据采集系统中的应用研究

在基于DSP的PHM数据采集系统中,大量冗余数据会给系统的数据传输、存储和处理带来负担,严重影响系统性能.针对这一问题,在分析了常用的无损压缩算法后,采用了LZ77压缩算法对采集到的数据进行压缩.压缩过程中,压缩效率与压缩比是一对矛盾.因此,算法在实现过程中采用了可变滑动窗口来兼顾两者,使整体压缩效果最优.结果表明,该...     

基于提升小波和混合熵编码的数据压缩方法

大型发电机组远程状态监测系统中实时数据的存储与网络传输对数据压缩和重构技术提出了较高的要求.文中给出一种提升小波变换与混合熵编码技术相结合的数据压缩方法.首先利用基于提升格式的双正交滤波器组对实时数据进行小波分解,然后对小波系数进行阈值量化,最后通过混合熵编码技术对保留的系数进行编码,以进一步提高压缩效率.对实际发电机组实时数据进行了压缩试验,结果表明,有损压缩技术和无损压缩技术的结合可以获得较高的压缩比,能够较好地满足大型发电机组实时数据的存储和传输需求,是一种有效和实用的实时数据压缩方法.     

基于第二代小波变换的电力系统故障录波数据压缩方法

随着对故障过程监测水平要求的逐步提高,急剧增大的故障录波数据量给数据传输和存储带来了很大的困难,因此必须对其做压缩处理。在论述传统小波分解理论和第二代小波方法的基础上,提出了一种基于整数小波变换的无损压缩方法。该方法能够对电力暂态信号数据进行完全可逆的多尺度整数小波分解,并将各尺度上的小波系数进行Huffman编码,从而实现无损压缩。仿真实验结果表明：该方法应用于故障录波数据无损压缩可实现较高的压缩比。     

油气管道缺陷漏磁检测数据压缩算法研究

油气管道缺陷漏磁检测所获取的原始数据量很大,而检测器的数据存储容量和处理速度均有限,因此有必要研究快速、高效的缺陷漏磁检测数据压缩算法。文中分析了油气管道缺陷漏磁检测对数据压缩的特殊要求,针对所获得检测数据的特征,提出了一种分段自适应压缩算法。该算法对油气管道缺陷漏磁检测数据进行分段划分并加以识别,针对不同类别的数据段采用不同的压缩方法,且通过改变数据分段的长度和压缩阈值,可调整检测数据的压缩比和压缩失真度。对试验用管道上人工缺陷的漏磁检测数据进行了压缩,结果显示,该算法可在保持较低数据失真度的同时,获得足够高的数据压缩比;压缩效率、压缩质量和复杂度等,均可满足油气管道缺陷漏磁检测对大量数据进行快速、高效压缩的需求。     

基于相似度分段及重采样的自适应波形数据压缩

针对快速傅里叶变换(FFT)对稳态和暂态频繁切换的智能家电的电流数据压缩时,存在单周波非整数点造成的谐波失真及时间相位累计误差、分段衔接失真等问题,提出了一种基于相似度分段及重采样的自适应波形数据压缩方法。通过自相关系数自动分段得到稳态和暂态,对稳态数据重采样后用FFT和ZLIB级联压缩,对暂态数据采用ZLIB无损压缩,并提出综合压缩系数评价指标。以微波炉、空调、洗衣机进行测试,实验表明,在保证失真度的情况下,优选综合压缩系数较小的采样率; 5种采样率下的3种重采样方法中重采样到单周波128点综合效果较好,压缩比高于21. 73,均方根误差百分比在1. 04%之内。     

利用FPGA实现LZW算法的研究

LZW算法是一种基于字典模型的数据无损压缩算法,该算法具有自适应特点,解压时无需同时传送字典,且原理简单,较适合于硬件实现。本文根据LZW算法原理,利用FPGA芯片内部的RAM资源构成输入数据流的缓存器和字典存储器,结合较简单的字典管理策略,用单片FPGA实现了实时无损压缩算法,并给出其内部模块组成及工作流程。经过仿真及相关实验,结果表明该算法的FPGA实现能获得较好的压缩比和压缩速度,并且占用逻辑资源少,通用性好。     

无损压缩CTW算法的改进及性能分析

在有限的传输带宽下传输数据时,传输率受到限制,如何高效地压缩传输数据,以便减少存储空间和传输时间,已经成为迫切需要解决的问题。本文在一种无损数据压缩算法CTW(context tree weight)的基础上,提出了改进的CTW算法。该算法采用了新的更低冗余度的概率估算法,并继承了CTW算法所具有的速度快和抗差错能力强等特点,与通用压缩软件Winzip相比能够获得更好的压缩率,从而保证了实时处理的可行性。本文基于对实际数据的实验,针对此算法的工作原理进行了综述,并提出了扩展和进一步研究的建议。     

一种基于数据压缩传输的高速大满贯测井系统

针对目前大满贯测井系统受限于电缆传输带宽,不能实现大数据量快速、实时采集的问题,设计了一种专用于大满贯测井系统的井下遥测传输短节。在分析大满贯测井采样数据相关性的基础上,在遥测传输短节中通过硬件电路设计和算法的嵌入式开发,将大满贯组合中各种井下仪的上传数据帧按采样时间进行缓存,形成深度对齐的二维数据阵列,根据图像无损压缩原理,采用基于CALIC算法的自适应预测模型,对数据阵列进行无损压缩后上传。在SL油田4口井的大满贯实测数据上的仿真实验结果显示,所提方法较目前主流的测井数据压缩方法-LZW算法数据压缩率平均提升了约30%;在SL油田5口井的大满贯实际测井作业的应用测试结果为新的大满贯系统作业效率平均提升约22%。结果表明,新的硬件设计和数据压缩传输算法极大提升了大满贯测井时效,实现了大满贯系统的高速测量,保证了大满贯测井在节约勘探开发成本方面的巨大经济优势。     

数据压缩在用电信息采集远程通信中的应用

探讨了用电信息采集系统中远程通信数据压缩的重要性和可行性,并从信息论角度指出远程通信报文存在的信息冗余度,提出采用数据压缩的方法可以缩短用电信息采集数据的传输时间,提高数据传输效率。并且,在GPRS/CDMA等无线公网通信技术为实际主导的通信方式现状下,数据压缩还可以降低数据传输成本,为电力企业节约通信流量费用。通过运用无损压缩领域的经典算法LZ77进行仿真实验,验证了数据压缩的效果。实验结果表明,LZ77算法对于常用的电能量和电能质量等长通信报文可以起到良好的压缩效果,对于低压居民电量采集等应用可以极大地缩短数据传输时间,为用电信息数据的及时获取提供保障,改善用电信息采集系统的工作效率。     

基于 LSA-MP 改进原子分解的 电能质量数据压缩方法

电能质量数据压缩是电能质量问题检测和识别中的重要步骤,其本质即为探寻电能质量稀疏特征的过程。针对稀疏分解中常用的匹配追踪算法在匹配最佳原子时计算复杂度高、耗时长,不能满足电力信号分析实时性要求的问题,应用收敛精度高、收敛速度快以及全局寻优能力强的闪电搜索算法搜索最佳原子,提出了闪电搜索匹配追踪算法。利用所提算法在构建的电能质量相关原子库中对电能质量信号进行原子分解,提取电能质量特征参数,将提取到的参数作为压缩后的电能质量数据,实现电能质量数据压缩。实验结果表明,所提算法匹配最佳原子的耗时约缩短为原算法的1/98,基于所提算法的电能质量数据压缩方法在匹配最佳原子满足电力信号分析的实时性要求,具有较高的压缩率和较低的重构误差,提高了数据压缩的性能。     

基于小波包变换和矢量量化的电力系统故障数据压缩

在实际的故障分析中通常不是利用故障暂态信号的全部频带信息，而是利用其部分频带信息来解决问题，因此提出了针对电力系统故障信号压缩的特殊要求，即对于所要解决问题有重要价值的频带信息无损压缩，对不重要的频带信息可以失真压缩，即保频带压缩，在此基础上提出了基于小波包变换、Huffman编码方法和矢量量化相结合的故障数据压缩算法，首先利用小波包变换将故障信号分解成各个频带的信息，选择有重要信息的频带采用自适应Huffman无损压缩算法，而对于其他频带数据信息，采用矢量量化压缩算法，通过仿真测试，该算法较好地满足了故障暂态信号的压缩要求，具有较大的应用潜力。