实时历史数据库中压缩技术的并行化研究

实时历史数据库系统需要极高的数据压缩速度,但传统的压缩算法都使用串行处理,数据压缩和文件读写都要耗费大量的时间.为了提高数据压缩速度,提出一种并行压缩算法,首先把待处理数据分成若干小块,然后通过对块数据压缩、解压缩、文件读写并发处理,充分发挥多核处理器的高性能.并设计出一种适合并行压缩算法的压缩数据存储文件格式和一个数据段信息循环链表,通过多线程编程技术来实现并行压缩算法.使用工程实测数据在多核处理器系统上的实验表明,并行压缩算法可以极大地提高数据压缩速度,满足实时历史数据库的需求.     

煤矿安全监控系统历史数据存储压缩算法研究

通过深入分析煤矿安全监控系统中历史数据对象及监测参数的特点,提出了基于误差带的历史数据存储压缩算法,详细分析了该算法的性能,并通过Matlab进行了仿真,结果令人满意。     

点类几何数据无损压缩算法的研究

在对矢量图数据的存储特性进行深入研究的基础上,提出了综合运用通用无损数据压缩算法和几何压缩算法的两步压缩策略。根据矢量图数据中各几何图形要素的不同存储特点,特别是根据点类文件的特点,研究实现了有效的点类几何数据无损压缩算法。     

流量数据时间机系统的数据存储改进

介绍了一种在高速网络通信量的环境下俘获流量并对流量进行存储、反馈的性能较优的系统和几种流行的数据压缩算法。将压缩算法引入该系统,采用两级索引重新设计改进了系统的分类存储模块,在不改变时间机对数据的访问速度前提下,提高了时间机的空间利用率;且通过对三种压缩算法的实验结果进行全面的分析,得出结论将最优压缩算法gzip应用与流量数据系统的数据存储部分,让系统能存储更多的网络流量且能将存储数据保留更长的时间。     

基于实时数据库的有损线性压缩算法研究与改进

首先对常见的实时数据库数据有损线性压缩算法原理进行了讨论,然后提出了一种新的压缩算法——"双旋转门"压缩算法,最后对各个算法的数据压缩能力进行了详细的对比,结果表时该算法与国外实时数据库的专利算法在数据压缩能力达到同样水准。     

基于字典的DNA序列压缩算法研究及应用*

在现有DNA序列数据压缩算法的基础上,以DNA序列数据的存储效率及生物学解释综合考虑,设计并实现了基于字典的DNA序列压缩算法DNADCompress.算法核心包括重复子串字典建立、字典项筛选、字串压缩编码三方面.实验数据表明,数据压缩算法压缩效果达到常用DNA序列压缩算法水平,并为序列生物学解释提供了基础.     

基于组件的工业过程数据仓库

工业企业自动化系统所产生的过程数据,分散在异构系统上,不能统一的存储、调用和管理,造成数据资源浪费.基于组件和分布式应用技术,设计和实现了工厂级的工业过程数据仓库,包括:集成各类自动化软件的过程数据,数据压缩存储,可视化分析工具开发.通过该系统,可集成和开发工业过程历史数据资源,从中挖掘对生产有用的知识.     

一种面向WSN节点的数据压缩简化算法

为了在存储空间和能量受限的无线传感器网络(WSN)节点上压缩数据来节省无线发送和外部存储所耗能量,分析并强调了面向WSN节点的数据压缩的特点与研究意义.针对资源受限节点在存储和传送数据中对压缩率和精度及能耗等性能的需要,基于傅立叶分析原理,通过简化基频测量和按允许误差调整傅立叶级数最高阶次,提出了一种可在节点常用的超低功微处理器上实现数据压缩的简化应用方法.实验表明了该简化压缩算法的有效性.     

MR-DC:基于MapReduce的轻量级数据压缩策略

大数据平台Hadoop为追求通用性,牺牲了对结构化大数据的处理性能.为此,提出了一种Hadoop平台上的针对结构化数据的压缩存储策略.首先,针对多种不同的数据类型,结合轻量级压缩算法的特点,设计了多种数据类型的压缩数据页;然后,设计了基于HDFS的页式行列混合存储结构;最后,设计并实现了基于MapReduce的MR-DC数据压缩策略,将数据压缩存储到设计的存储结构中.在大规模数据仓库基准数据集上的实验结果验证了提出的策略能够显著减少结构化数据的存储量,从而为提高后续的数据分析处理性能打下基础.     

基于SQL数据库的过程数据压缩方法

利用SQL Server数据库存储过程历史数据,提出一种增量型的SDT压缩算法,有效地实现了过程历史数据的实时存储。对于通过OPC方式从化工过程底层读取的实时数据,利用增量型的SDT算法进行实时压缩存储,利用LZW算法对存储的值进行二次无损压缩。实验测试表明,该方法能够实时处理大量的过程数据,同时尽最大可能对过程数据进行压缩,降低存储成本。在容差为1%、测点为 1 000个时,该算法使平均压缩率达到约85%。     

数据压缩算法在储能电站中的应用研究

针对储能系统中海量的存储数据,采用旋转门压缩算法,对数据进行处理和压缩,节省数据的存储空间,选取系统中某电池簇12小时的运行数据进行模拟仿真。实验结果表明,使用该方法可大大节约数据的存储空间,在满足系统精度的需求上能够最大化压缩数据,合理减少数据的存储量。     

基于三层存储模型的RFID数据压缩存储方法

针对物联网技术中亟待解决的海量数据存储问题,提出了一种基于射频识别(RFID)的三层数据存储压缩模型。该模型将数据分为当前数据层、临时数据层和历史数据层,利用每一层中数据的特点分别设计了相应的数据汇总算法,最终实现RFID数据的压缩存储。在该模型的基础之上,提出了针对路径的编码算法,用于对路径进行压缩存储。实验结果表明,该三层存储模型可以有效地压缩存储RFID数据,同时数据汇总算法具有较低的时间复杂度与较高的数据压缩比。     

SCADA中历史数据的SDT算法研究与改进

随着物联网和大数据技术的快速发展,数据采集与监视控制SCADA系统每天采集的数据量呈几何级数增长,传统的数据压缩算法--旋转门算法SDT 已经不能满足SCADA系统对历史数据压缩的要求。在深入研究了数据压缩方法尤其是旋转门SDT算法的基础上,提出了一种改进的ASDT 算法,并用Java语言加以实现。ASDT算法通过正弦曲线拟合数据以实现数据压缩,与传统SDT算法的性能相比,ASDT算法能取得更好的压缩效果。实验数据结果表明,相对于传统SDT算法,ASDT算法可以在不显著增加压缩误差的前提下,有效地提高压缩比。     

Process data compression based on recursive identification of nonuniformly sampled systems

A recursive identification method is proposed to obtain continuous-time state-space models in systems with nonuniformly sampled (NUS) data.Due to the nonuniform sampling feature,the time interval from ...     

基于最优内插预测的科学数据压缩方法

在海量科学数据存储和传输压力愈来愈大的背景下,我们针对结构网格离散的科学计算数据,研究了基于二维9点、三维27点最优内插预测的科学数据压缩方法.数值实验表明该方法大大优于现有的压缩算法,可以较好地解决科学计算数据的压缩存储问题.     

车载数据压缩算法

提出了一种适用于车载数据存储的线性拟合算法,采用基于ARM-Linux操作系统的SQL数据库为平台,对提出的压缩算法加以实现.实验结果表明:针对大量的连续数据具有良好的压缩效果,压缩后数据量急剧减少,尤其足在数据波动和采样间隔时间较小的情况下,给出的方法可实现较高的压缩比.     

压缩数据上的关系代数操作算法

针对在大数据管理中,在压缩的数据上无需解压即可进行相关操作的问题,在数据服从正态分布的前提下,根据列数据存储的特点,提出了一种新的面向列存储的压缩方法——CCA。首先,通过对列数据的长度进行归类;然后,采用抽样的方法获得重复度较高的前缀;最后,使用字典编码进行压缩,提出了列索引(CI)和列实体(CR)作为数据压缩结构来降低大数据存储的空间需求,从而直接有效地在压缩数据上支持选择、投影、连接等基本操作,并实现了基于CCA的数据库原型系统——D-DBMS。理论分析和在1 TB数据上的实验结果表明,该压缩算法能够显著提高大数据的存储效率和数据操作性能,与BAP和TIDC压缩方法相比,在压缩率分别提高了51%、14%;在执行速度上提高了47%、42%。     

一类无纸记录仪的数据压缩研究

针对一类无纸记录仪数据,构造了一有效的数据压缩算法.该算法在压缩这类无纸 记录仪的历史数据中(如温度、液位、流量和压力数据),得到了较好的应用效果,从而降低了 这类无纸记录仪对内存的要求,极大地改进了它们的性能.