列存储数据区级压缩模式与压缩策略选择方法

压缩技术是列存储数据管理的重要研究内容之一.目前多数方法对同一列数据使用单一压缩方法进行压缩,忽略了数据的局部分布特性,极大地影响了压缩性能.该文提出一种区级压缩模式,并在此模式下提出基于学习的压缩策略选择方法.首先该文将数据列进一步划分为区,并分别定义相邻区信息与区所在列的统计信息为参照信息,进而通过学习参照信息与当前区之间的相似性和差异性进行策略推荐.最后该文对区进行局部学习从而对推荐压缩策略进行修正,保证压缩策略的有效性.在数据仓库基准数据集SSB上的实验结果验证了该文方法的有效性.     

面向XPath执行的XML数据流压缩方法

由于XML(extensible markup language)本身是自描述的,所以XML数据流中存在大量冗余的结构信息.如何压缩XML数据流,使得在减少网络传输代价的同时有效支持压缩数据流上的查询处理,成为一个新的研究领域.目前已有的XML数据压缩技术,都需要扫描数据多遍,或者不支持数据流之上的实时查询处理.提出了一种XML数据流的压缩技术XSC(XML stream compression),实时完成XML数据流的压缩和解压缩,XSC动态构建XML元素事件序列字典并输出相关索引,能够根据XML数据流所遵从的DTD,产生XML元素事件序列图,在压缩扫描之前,产生更加合理的结构序列编码.压缩的XML数据流能够直接解压缩用于XPath的执行.实验表明,在XML数据流环境中,XSC在数据压缩率和压缩时间上要优于传统算法.同时,在压缩数据之上查询的执行代价是可以接受的.     

一种基于控制点差分数据的NURBS曲线曲面数据优化压缩方法

针对协同设计中数据传输的需求,以去除数据冗余为目标,提出一种基于控制点坐标差分数据的NURBS自由曲线曲面的数据优化压缩方法.该方法的思路是:以权因子为基础整合坐标数据分量,使原数据所具有的几何意义与数据压缩过程紧密联系起来;再利用离散余弦变换,对控制顶点坐标分量的差分值矩阵进行变换;最后进行量化压缩处理,并根据目标压缩率选取量化压缩比.方法在有效压缩数据的同时使传送的压缩数据中携带了压缩复原数据的累计误差.实例应用分析给出了压缩复原数据与原始数据的数据误差,说明在不显著增加误差的基础上此数据压缩方法能有效减少数据量.     

GSPress:一个GML流压缩器

GML已成为地理数据存储和交换的标准.在实际应用中,GML数据通常以数据流的形式在网络上传输.由于GML文档含有大量重复标签和高精度浮点数,使得GML文档通常比较大.因此如何有效地压缩GML数据流来减少网络传输的代价就显得越来越重要.本文提出一种GML数据流压缩算法,它只需扫描GML文档一次,将GML文档的结构和数据分离后分别进行压缩.对GML文档中的结构部分采用自适应方法进行压缩;对坐标数据则利用增量压缩的方法压缩.实验结果表明GSPress是一种高效的GML流压缩算法.     

基于预测的纯量场数据压缩技术研究

大规模数值模拟产生了海量数据,对数据存储空间和I/O带宽都形成了挑战.针对纯量场数据,研究了外插与内插预测算子,分析了两种预测算子的优缺点,并提出了基于外插预测的纯量场无损压缩方法以及基于内插预测的纯量场有损压缩方法.提出的压缩方法的突出优点是内存开销比较小,适合于大规模的纯量场数据的压缩.使用光滑数学模型数据和真实物理模拟数据进行的测试实验表明,提出的基于预测的纯量场压缩方法取得了良好效果.     

基于γ划分策略的高维索引结构

提出了一种压缩金字塔树,将d雏数据空间划分为2d个金字塔,由于在低维空间中无效的信息在高维数据空间中往往无效,采用γ划分策略对低维空间中的数据进行压缩,减小索引结构,克服了金字塔技术的缺点.给出了压缩金字塔树的构造方法以及基于压缩金字塔树的查询算法.实验证明,压缩金字塔树是一种有效的空间划分策略,在高维稀疏空间有良好的性能.     

精度可控的字典全局相似性点云压缩

为了控制三维点云数据的压缩精度,通过对点云空间划分建立字典结构,提出一种压缩精度可控的全局相似性点云压缩方法.首先对点云进行均匀空间划分并离散表示;然后建立一个字典,作为表示该离散数据的一组基以及一套用词条索引表示的数据结构;最后通过对字典中相似词条合并实现字典压缩,并通过无损编码实现索引压缩.实验结果表明,在普通PC机环境下对ModelNet和Farman数据集中的2组点云数据,该方法均能进行任意指定精度的压缩.     

双蝶形高速脉冲压缩的FPGA实现

在对脉冲压缩原理分析的基础上提出了适应于FPGA实现的结构,采用了数据全并行基4双蝶形单元计算结构,极大地提高了蝶形运算的并行度,从而提高了脉冲压缩的速度.设计了合理的数据流程,以较小代价实现了和差两路数据的脉冲压缩.根据二相码的特点采用了奇偶点分开并行脉冲压缩方法保证了脉压的效果和速度.在系统时钟100 MHz时,完成4 K点的脉冲压缩只需67 μs.     

一种基于压缩感知的二维几何信号压缩方法

本文给出的压缩方法属于谱压缩方法. 谱压缩方法是一种常用的二维轮廓线模型压缩方法. 文章从压缩感知的角度解释了谱压缩方法, 并提出了基于压缩感知的二维轮廓线模型压缩方法. 首先利用二维轮廓线模型 Laplace 算子的特征向量构造了一组基. 二维轮廓线模型的几何结构在这组基下可以被稀疏表达. 利用随机矩阵对二维轮廓线模型的几何结构抽样, 完成压缩. 恢复过程中, 通过最优化1-范数, 实现几何信号的恢复. 实验结果表明, 该方法压缩速度快, 比例高, 恢复效果好, 适合对大型数据以及远距离数据进行压缩.     

基于DCT变换矢量数据压缩

针对矢量数据复杂的内部结构和数据量大的特点,提出了基于离散余弦变换的矢量数据压缩方案.该方案特点是提出了动态分块算法,该算法根据数据之间的相关性把矢量数据划分为若干个大小不等的数据块,形成坐标点序列,从而避免固定分块给压缩带来的不利影响.针对变换后的直流系数和交流系数的特点,分别应用了差分脉冲调制编码和游程长度编码技术对数据进行编码.经实验分析表明:本算法具有较高的压缩性能,较好的压缩和解压效率和简单实用性.     

历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。     

几种常用无损数据压缩算法研究

随着网络承载的信息量的飞速增长,数据压缩必然会备受人们重视。数据压缩可分成两种类型,一种叫做无损压缩,另一种叫做有损压缩。文中主要介绍目前用得最多和技术最成熟的无损数据压缩技术,按照无损压缩方法采用的压缩技术的不同,从基于统计的压缩思想和基于字典的压缩思想两个方面对其中最具有代表性的无损数据压缩方法进行了详细的分类讨论和优缺点比较,并对基于字典压缩算法的一些成熟的改进算法进行了汇总介绍,便于对无损数据压缩技术感兴趣的同志学习参考。     

Box Car过程数据压缩算法性能分析

Box Car过程数据压缩算法在现场总线控制系统中得到广泛采用。其压缩效果受记录限和压缩区间的影响。本文基于对典型仿真数据的大量计算,分析了Box Car过程数据压缩算法记录限和压缩区间对趋势平稳的过程数据的压缩比、计算时间和压缩系数的影响。本文还分析了过程数据趋势特征和波动特性对Box Car算法压缩比和逼近系数的影响。本文的计算结果对于在实际应用中根据过程数据不同的趋势和噪声特征调整Box Car压缩算法参数以获得理想的压缩效果具有指导意义。     

基于舰船振动检测的数据压缩算法的研究

舰船振动检测会产生大量的数据,由于受到触发方式和存储器容量的限制,必须对大量的数据进行压缩。通过理论分析有损压缩的冗余度和压缩熵,分析了外界噪声与AD的分辨力的关系,并将该算法运用到实际的舰船振动检测中。试验表明:该算法的压缩效果与被测信号变化快慢、信道噪声特性有关,在实际动态数据压缩处理中,压缩效果十分明显。     

地震数据采集系统中的数据压缩与FPGA实现

实现了一种地震数据采集系统中的数据压缩算法,用于提升采集系统的数据传输效率,从而提高了海洋地震勘探的精度和深度。压缩针对地震数据流,比现有的地震数据压缩算法更容易在FPGA上实现。同时考虑到地震波的物理特征,借鉴语音压缩算法,实现了一种易于用FPGA实现的24位地震数据流无损压缩算法,平均能将采集的地震数据压缩至原始数据大小的54%。     

XML数据压缩技术的研究进展

XML的自描述特性使得XML数据中存在大量冗余信息。如何压缩XML数据以提高XML数据管理的效率成为一个新的研究领域。从2001年起,XML数据压缩技术的研究已经取得了很多研究成果。从面向存储的XML数据压缩技术、面向查询的XML数据压缩技术和面向特定应用的XML数据压缩技术三个方面综述了XML数据压缩技术的研究进展,讨论了目前存在的主要问题和需要进一步研究的方向,并提供了广泛的参考文献。     

基于FPGA的实时无损数据压缩系统设计

针对某些特殊的测试实验,既要求测试系统微体积、低功耗,还要求记录大量数据的问题,提出基于FPGA的数据压缩解决方案.介绍了LZW压缩算法的基本理论及其用FPGA硬件实现的方法.大量的实验表明,系统工作稳定,压缩速度快(8 MB/s以上),对实测数据的压缩效果好(25％左右)、工作时电流小(37 mA),实现了速度、性能...     

压缩技术在数据采集系统中的应用

介绍了一种通用编码的数据压缩技术－ＬＺＷ算法，并以此算法为核心，对采集的数据预先作有条件的有损压缩和自适应编码变换，在压缩数据的同时，使数据和ＬＺＷ算法要求的数字输入格式相匹配，使之能更好地发挥作用，经实际验证，数据经有压缩，自适应编码和ＬＺＷ压缩之后，达到较高的压缩率，该方法具有通用性好，易于实现的特点。     

实时数据库有损压缩算法的研究

在实时数据库中,测点数量多,数据量庞大,数据变化慢,数据冗余多,且实时数据库对实时性的要求很高,因此需要高效的压缩算法对实时数据进行压缩。实时数据库中的数据压缩算法分为有损和无损两类,文中就数据有损压缩进行了研究。通过对现有的有损压缩算法进行分析和比较,总结并提出了一个新的算法。该算法基于预测和动态修正,对实时数据进行快速高效的有损压缩。通过测试和比较,该算法在提高压缩比的同时能满足系统对还原精度的要求。     

关于空间数据系统无损压缩算法的零值块研究

通过对CCSDS(国际空间数据系统咨询委员会)建议的无损数据压缩标准的研究,以及对目前常用压缩算法的调查,它阐述了一种具有延迟小速度快抗差错能力强等特点的无损数据压缩算法,即Rice压缩算法,压缩率超过50%以上,而且对多种类型的数据都会达到满意的效果.它对算法中的零值块部分作了较为详细地阐述,因为经过预处理过的数据通常都很小,对于图像来说有相当多的零值.因此,对零值较多的情况下采取零值块压缩处理,效果很好,经过软件测试,结果符合CCSDS的要求标准.