基于SQL数据库的过程数据压缩方法

利用SQL Server数据库存储过程历史数据,提出一种增量型的SDT压缩算法,有效地实现了过程历史数据的实时存储。对于通过OPC方式从化工过程底层读取的实时数据,利用增量型的SDT算法进行实时压缩存储,利用LZW算法对存储的值进行二次无损压缩。实验测试表明,该方法能够实时处理大量的过程数据,同时尽最大可能对过程数据进行压缩,降低存储成本。在容差为1%、测点为 1 000个时,该算法使平均压缩率达到约85%。     

基于B+树索引的实时数据库缓冲区管理算法

考虑到工控位号历史数据时间戳递增的特点,针对已有实时数据库产品历史数据存储索引查询效率不高,磁盘空间利用率低的不足,提出了一种以B+树为索引方式,以状态链表和页式存储为管理方式的历史数据缓冲区管理方式.经过实际测试表明,基于该缓冲区管理算法的历史数据存储模块存取效率高,并发性能好,磁盘空间的利用率高,完全可以替代关系数据库作为实时数据库的历史数据存储模块.     

一种基于双历史站的数据库存储结构的设计与实现

在DCS系统中,历史站承担着历史数据的收集、存储以及查询功能,而实时和历史数据库存储结构的设计则是组态软件的核心技术。设计了一种基于双历史站的实时和历史数据库存储结构的设计和实现方法,分别介绍了系统体系设计、数据采集、实时数据数据库设计、历史数据库设计、数据同步策略、历史数据库对外接口等。该系统实时性高、存储空间节约、查询速度快,已经广泛应用于多个领域的工业控制系统。     

历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。     

一种准无损压缩图象子带编码算法

针对有损压缩会损失一部分信息而无损压缩又压缩比较低的问题,提出一种实现准无损压缩的方法。该方法就是首先将图象用噪声模型进行去除噪声处理,以提高图象的信噪比,并有利于图象的压缩;然后再使用区域自适应子带编码算法进行编码。由于该算法能快速收敛,因而编码时间相对较少;编码通常能实时执行。实验结果表明,该压缩方案具有高信噪比、高压缩比等优良性能。从算法的理论基础来看,其中基于噪声模型的噪声清除算法对其他编码算法（如DCT、DPCM、JPEG、SPIHT、MPEG等等）同样具有推广意义。     

基于分块自适应预测的超声测井图象无损压缩编码

针对超声测井图象数据量较大,且要求实时传输的问题,提出了一种基于分块自适应预测的无损压缩编码方法,该方法首先对原图象分块;然后在每一子块内自适应选择预测方案,并进行DPCM编码;最后采用改进的LZW算法对差值进行编码输出。经过实验表明,该算法比较符号超声测井图象特点,其压缩倍数较现有无损压缩算法有很大提高,而算法复杂度没有明显增加,同时所需内存开销较小,因而特别适用于实时遥测系统。     

工业实时数据库过程数据存储的研究与应用

过程数据是一种丰富的信息资源,过程数据存储的主要目的是为了满足某些应用软件（如趋势图软件）对实时数据的需求以及用户对历史数据的查询。在福大自动化公司开发的实时数据库软件基础上,主要介绍以内存数据库和磁盘历史数据库来存储实时历史数据,重点研究过程数据的存储设计和存储结构。最后,由工程实例给出了存储系统的功能应用。     

一种JPEG无损压缩算法的仿真与实现

研究图像压缩算法优化算法的效果,针对目前通用无损压缩算法都难以对JPEG文件进行压缩,提出了一种洗牌算法和无损压缩算法相结合的无损压缩方法。在将JPEG图像文件进行压缩前对文件进行有效规整,产生冗余,然后再结合通用无损压缩算法进行无损压缩进一步去除文件内部信息冗余。进行仿真实验验证,算法能够进一步将JPEG图像文件无损压缩1%-3%。结果表明,上述算法能进一步无损去除文件内部冗余,减小文件体积,算法简单,时间复杂度低,易于实现,是一种有效的快速图像压缩算法。算法已经获得专利保护。     

组态软件中的历史数据处理过程

实时数据库中历史数据是系统定时从实时数据库中采样,保存到历史数据库中的数据,用户需要时可随时从历史数据库中访问历史数据。历史数据库包含内存历史数据库和磁盘历史数据库。内存历史数据库关注的是测点近期数据的组织方式;磁盘历史数据库管理的对象是历史数据文件和管理信息文件。本文描述了磁盘历史数据库的文件结构、缓冲区进行了描述,并阐述了磁盘历史数据库的实现技术。     

基于ARC算法的数据压缩技术和实现

针对无损压缩技术在航天遥测系统中的应用情况,提出了基于现场可编程门阵列(FPGA)和数字信号处理器(DSP)硬件结构的遥测噪声数据实时无损压缩系统的方案。结合Shannon信息论中信息熵的概念,研究了数据压缩的本质和算法评估标准。通过PC仿真试验对多种算法的压缩效果进行了比较,最终选择算术编码(ARC)作为无损压缩的算法。测试结果表明,该方案能够实时采集并压缩遥测噪声数据,有效地提高压缩去除率和压缩速度,优化压缩性能。     

实时数据库中数据的分类压缩算法

为解决实时数据库数据量大导致存储困难等问题,提出一种分类的数据压缩算法,实现对实时数据库数据的无损和高效压缩。首先将实时数据库的数据分为数值、时间戳和质量码3部分,然后根据每种数据的特征形态,将LZ78和LZW数据压缩算法融合,分别设计对应的数据压缩算法。实验结果表明,该算法在提高数据库的实际存储容量的同时也提高了实时数据库的实时性。      

实时数据库有损压缩算法的研究

在实时数据库中,测点数量多,数据量庞大,数据变化慢,数据冗余多,且实时数据库对实时性的要求很高,因此需要高效的压缩算法对实时数据进行压缩。实时数据库中的数据压缩算法分为有损和无损两类,文中就数据有损压缩进行了研究。通过对现有的有损压缩算法进行分析和比较,总结并提出了一个新的算法。该算法基于预测和动态修正,对实时数据进行快速高效的有损压缩。通过测试和比较,该算法在提高压缩比的同时能满足系统对还原精度的要求。     

金融业务数据库的数据压缩方法

针对金融业务中实时数据库的数据存储特点,提出结构混合压缩(SMC)算法。SMC算法利用金融数据具有纯文本、数据分散和数据项内重复少的特点,以哈夫曼编码作为算法基础,根据词频将单字和词组混合,在哈夫曼树中引入数组结构,对文本数据进行压缩。测试结果表明,SMC算法的平均数据压缩率比原始哈夫曼算法提高了约13%。     

面向相似数据集的关系数据库压缩

采用关系数据库模型进行建模,对于同一关系框架上的数据定义了相似数据集。对单个数据集,通过关系拆分对数据库模型进行规范化处理,去除了关系内部的数据冗余;对多个数据集之间的压缩提出了一种基于0-1状态标记序列的增量式无损压缩算法,压缩后的数据可以快速地完全解压缩。试验结果表明,算法可以实现对相似数据集的高效无损压缩和快速查询。     

数据通讯中LZW算法的应用研究

串行通讯是计算机常用的通讯手段之一，但其通讯速率较低。为提高数据传输的实时响应速度，可采用数据压缩算法，无损数据压缩技术LZW算法就是较好的算法之一。本文把这种算法应用于无线数据通讯，较大幅度地提高了数据传输速度。     

激光雷达数据无损压缩的FPGA实现

为提高测距激光雷达海量回波数据的存储和传输效率,在以FPGA为核心的激光雷达数据采集系统中实现了对回波数据的Lempel-Ziv-Welch(LZW算法)基于字典的无损压缩;通过对字典管理进行简化,利用FPGA芯片内的RAM来存储字典,采用逻辑电路来处理压缩算法,算法的主体为Verilog语言描述的有限状态机;经过仿真验证与综合,结果表明该算法的FPGA实现能获得30%左右的压缩比,压缩速度满足系统要求.     

基于实时数据库的有损线性压缩算法研究与改进

首先对常见的实时数据库数据有损线性压缩算法原理进行了讨论,然后提出了一种新的压缩算法——"双旋转门"压缩算法,最后对各个算法的数据压缩能力进行了详细的对比,结果表时该算法与国外实时数据库的专利算法在数据压缩能力达到同样水准。     

车载数据压缩算法

提出了一种适用于车载数据存储的线性拟合算法,采用基于ARM-Linux操作系统的SQL数据库为平台,对提出的压缩算法加以实现.实验结果表明:针对大量的连续数据具有良好的压缩效果,压缩后数据量急剧减少,尤其足在数据波动和采样间隔时间较小的情况下,给出的方法可实现较高的压缩比.