列存储数据区级压缩模式与压缩策略选择方法

压缩技术是列存储数据管理的重要研究内容之一.目前多数方法对同一列数据使用单一压缩方法进行压缩,忽略了数据的局部分布特性,极大地影响了压缩性能.该文提出一种区级压缩模式,并在此模式下提出基于学习的压缩策略选择方法.首先该文将数据列进一步划分为区,并分别定义相邻区信息与区所在列的统计信息为参照信息,进而通过学习参照信息与当前区之间的相似性和差异性进行策略推荐.最后该文对区进行局部学习从而对推荐压缩策略进行修正,保证压缩策略的有效性.在数据仓库基准数据集SSB上的实验结果验证了该文方法的有效性.     

基于HBase的列存储压缩策略的选择优化

大数据时代背景下,列存储数据库使用场景愈加增多,推动了列存储相关领域的研究进展。为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大,分类粒度小,配套分类算法缺陷导致的学习成本高,压缩效率难以保证的问题,本文提出了一种基于排序的列区混合压缩策略,首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较,实验结果显示本文方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了本文方法的有效性。     

压缩存储的研究与应用

本文综合了线性表、循环表、矩阵等数据结构的基本概念以及压缩存储、索引存储等存储方式的基本概念，通过矿山计划计算机交互辅助编制系统中遇到的极大量数据的处理问题，导出了压缩循环阵存储的概念及定义。这种存储结构既保持了线性表、循环表的灵活性，又能有效压缩存储空间，而且能象索引存储那样对数据结点快速定位，是对大量分段重复数据地行处理的有效存储结构之一。     

列存储数据仓库中基于概率的保序字符串压缩方法

数据仓库中采用按列存储的方式更有利于数据的压缩,保留顺序的轻量级压缩方法对列存储的字符串属性压缩显示其优越性,然而现有做法很难兼顾字符串出现的概率对压缩效率的影响,影响了压缩性能.因此,提出一种基于概率的保序字符串压缩方法.首先,提出一种扩展的共用叶子结构,使得编码索引和解码索引共享同一个码表,大大减少了编码和解码索引的维护时间.同时在该结构中,记录字符串出现的概率,并根据概率的高低建立解码索引,有效降低了高频字符串的解压时间.进一步,根据列存储的特点,将用于列连接的行号信息保存在扩展的叶子结构中,从而有效减少了列值索引的存储空间和创建时间.实验结果验证了该方法的有效性.     

0LAP中多维数组的一种改进压缩算法

基于多维数组MOLAP技术,针对目前使用较多的多维数组线性化压缩存储方法在处理维内部层次的聚集查询方面效率比较低的问题,本文提出了一种新的压缩存储方法,即采用二进制编码存储维方法,能有效提高存储和查询效率。     

一种实用的图文压缩程序

针对屏幕图文存储容量大的问题，提出一种实用的压缩存储方法，该方法具有高的压缩比和快的运行速度。     

结构化存储文件的结构解决和压缩存储技术实现

本文介绍了结构化存储技术,给出在Delphi中结构化存储文件的结构解读和压缩存储技术的实现方法。     

基于MapReduce的轨迹压缩并行化方法

带有全球定位系统（GPS）功能设备的增多,产生大量的时空轨迹数据,给数据的存储、传输和处理带来了沉重的负担。为了减轻这种负担,各种轨迹压缩方法也随之产生。提出了一种基于MapReduce的并行化轨迹压缩方法,针对并行化导致的分段点前后轨迹的相关性被破坏的问题,首先,采用两种分段点相互交错的划分方法划分轨迹;然后,将分段轨迹分配到多个节点上进行并行化压缩;最后,对压缩结果进行匹配合并。性能测试分析结果表明,所提出的并行化轨迹压缩方法能够大幅提高压缩效率,而且能完全消除因分段导致分段点前后相关性被破坏带来的误差。     

工业历史数据库的研究

提出了一种最高容量为60000个信号点、记录达到秒级的快速历史数据存储与查询方案,该方案采用二级缓存和二级索引的组织方式,应用了高效的二级压缩方法.目前采用该方案实现的数据库系统已经在商用组态软件中稳定运行,实践证明有良好的存储和查询效率.     

制作备份的软件ARJ

利用压缩工具软件ARJ进行压缩备份处理的使用方法.     

结构化存储文件的结构解读和压缩存储技术实现

本文介绍了结构化存储技术,给出在Delphi中结构化存储文件的结构解读和压缩存储技术的实现方法。     

基于在线压缩的数据采集存储系统

在高速数据采集存储系统中,随着数据存储速度需求越来越高,数据带宽和计算能力的快速增长,存储性能越来越成为系统性能的瓶颈。为此,设计并实现一个基于在线压缩的数据采集存储系统。该系统通过提供一套简单的API,实现自身的灵活性以及高可集成性。系统允许用户注册自己的压缩算法,同时向用户屏蔽压缩数据的管理,并且对数据压缩以及存储过程进行优化。实验结果表明,在数据达到一定压缩率情况下,该系统显著地减少数据存储时间,提高了系统的存储速率,同时提高了存储空间利用率。     

方便快速的微机图形压缩存储与恢复显示

一种与硬件编程无关而又能在各图形模式下方便、快速地将屏幕上任意矩形区域内的图形进行压缩存储与恢复显示的方法.     

基于笔画识别的文本图象压缩

本文提出了一种有效的文本图象压缩方法，可以大幅度地提高文本图象的压缩率。算法分为以下四个部分：１．预处理２．规一化处理３．笔画识别４．编码存储。此方法切实可行并且高效，灵活。     

组合压缩在存储测试系统中的应用

在某些特殊的测试环境中,存储测试系统中既要求大容量数据存储又要求微体积.为解决这一矛盾,在研究了游程压缩和LZW两种算法的基础上,提出了以FPGA为核心实现两种算法的无损组合压缩,利用FPGA芯片内的RAM来建立字典,用VHDL语言和状态机实现该压缩算法.仿真和综合验证表明,通过FPGA实现该组合算法,压缩效果显著,压...     

一种针对有序集的有效压缩存储算法

本文基于具有阶乘基的数字系统给出了一种针对有序集的有效压缩存储算法及其应用实例。     

高存储需求下车载多媒体图像分形压缩仿真

为增强车载多媒体服务质量,需要对车载多媒体图像进行压缩处理.针对传统压缩方法存在图像峰值信噪比和压缩比较低等问题,提出一种高存储需求下基于模糊聚类的车载多媒体图像分形压缩方法.解析图像分形压缩原理,并对车载多媒体图像进行图像灰度化和去噪等预处理,利用四叉树对处理后的图像进行值域块划分,基于模糊聚类算法遍历所有值域块,完成图像定义域块搜索,进而实现车载多媒体图像分形压缩.实验结果表明,与传统图像压缩方法相比,所提方法压缩后的车载多媒体图像图像压缩码率较高,分形压缩效果较好,且峰值信噪比分别提高7.08dB、8.62 dB、5.26 dB,压缩比提高8.9％、15.5％、91.55％,可见所提车载多媒体图像分形压缩方法具有一定的可靠性.     

霍夫曼算法在数字示波器中的应用

针对数字存储示波器中需要存储的波形数据或设置的数据量比较大，并且用户多用来存储周期波形这一特点，对通常仅用于文件字符压缩的传统霍夫曼压缩算法进行改进后，将其应用于数据流的压缩。该文描述了用于霍夫曼算法的压缩和解压缩的基本原理，并对压缩算法重点进行了讨论，给出了详细的过程，因为解压过程比较简单，只做了简略描述。     

Hadamard矩阵压缩存储算法分析与研究

首先引入Hadamard矩阵（简称H矩阵）,并对计算机存储矩阵所占用存储的空间进行了论证：然后对规范的H矩阵的压缩存储进行描述;最后着重讨论了作为非对称矩阵的非规范H矩阵的压缩存储。对比存储非规范H矩阵的全部元素,提出了一种基于H矩阵定义的压缩存储算法,在H矩阵的阶数达到64阶乃至更高阶时,能够明显地节省存储空间。     

JPEG2000感兴趣区域编码的新方法

对于感兴趣区域编码一直是图像压缩的热点之一。结合新一代静止图像压缩标准JPEG2000,介绍了JPEG2000中两种经典的ROI压缩算法：最大化位移法和一般位移法,分析了这两种方法的实现原理和优缺点,提出了一种新的JPEG2000感兴趣区域编码方法。该方法利用JPEG2000中“失真可伸缩性”的特点,对于感兴趣区域和背景区域给定的目标质量,在质量层上根据给定的目标质量对包进行丢弃处理以达到压缩的目的,没有经典ROI（Region Of Interest）压缩方法的移位处理,所以压缩效率略好于经典压缩方法,压缩时间小于经典ROI方法所需的时间。实验结果表明,在相同的压缩比特率下,压缩效果和压缩时间优于JPEG2000中经典的压缩方法