一种支持ANSI编码的中文文本压缩算法

该文提出了一种高效的中文文本压缩算法CRecode,算法根据中文文本中字词的概率分布特点,对中文字词根据其使用频率,采用8bit、16bit和24bit三种长度的编码重新编码,克服了Huffman编码在压缩中文数据时打乱数据中蕴含的语义信息,致使其压缩数据再压缩性差的缺点。测试中,CRecode在与现有主流压缩软件联合使用时,可提高压缩率4%到30%,最大平均压缩比可达2.86。CRecode作为独立压缩算法,压缩中文文本时可获得优于Huffman编码、接近于LZ系列算法的性能。     

无损压缩算法LZSS的分块性能研究

分块压缩算法直接影响灾备系统中增量备份的性能.增量备份的数据量与3个因素相关:上层应用、数据是否压缩、磁盘分块粒度等.此外,可能还需要使用加密算法对数据进行加密,磁盘分块粒度的大小甚至决定着增量备份功能的实现,因此需要研究压缩算法的分块性能.研究了LZSS算法在分块模式下的压缩性能以及影响LZSS性能最重要的两个参数IA字段位长(滑动窗口大小)及Len字段位长(匹配短语长度)对分块LZSS压缩性能的影响,以此确定与灾备系统相匹配的最佳分块大小.理论分析与实验结果表明,IA字段位长对分块LZSS的压缩性能影响较大,最佳分块大小随着IA字段位长的增大而增大,而Len字段位长对分块LZSS压缩率的影响较小,对最佳分块的决策影响可以忽略不计.时间性能方向,造成分块LZSS时间性能降低的原因主要在于小分块引起的IO负担,而与LZSS算法本身无关.     

HitIct：中文无损压缩算法性能评估测试集

提出了一个基于ANSI编码的中文无损压缩算法性能评估测试集HitIct.按照应用代表性、对现有ASCII编码测试集的补充性、样本公开性的原则从互联网上获取候选样本集,采用平均压缩率、标准差、平均相关系数、压缩率相关系数等技术指标对样本集中的样本进行筛选,并剔除影响压缩率的非文本因素等方法确定的最佳样本组成HitIct Corpus.实验结果表明,该测试集具有良好的代表性及稳定性,可以作为当前主流ASCII编码测试集的补充.