内存受限系统下的VxWorks映像压缩算法

针对VxWorks自带压缩算法在内存受限系统下的缺陷,提出一种基于Huffman编码的VxWorks映像压缩算法;该算法利用VxWorks映像文件的格式,结合处理器指令集的特点,通过分段和分字节两种策略对VxWorks映像文件进行压缩;以SPARC V7指令集为例,对该算法测试压缩性能,实验结果表明,使用分段和分字节策略后的Huffman压缩率为67.6%,略高于VxWorks自带压缩算法,但占用内存仅为1.5kB,为VxWorks自带压缩算法的1/10。     

一种规则集快速压缩算法

实际应用中的规则集表现出很强的聚集特性,针对这一特性提出一种规则集快速压缩算法.快速压缩算法是一个由粗到细的先分类再合并压缩的过程,首先通过使用Hash函数将提取的规则信息散列并以散列值作为查找关键字构建二叉查找树实现粗略分类,然后在树结点对应的Hash函数冲突列表中逐条比较完成精确分类,最后合并冲突列表中的规则实现压缩.实验结果表明,与逐条规则逐个域比较的简单压缩方法相比,快速压缩算法在保持较高压缩率的前提下,能够将压缩时间平均减少90%以上.     

基于聚类的字典压缩技术在GIS中的应用研究

本文主要探讨了基于字典的矢量地图压缩中字典的设计问题,提出了一种新颖的基于聚类方式的字典设计方法,它可以使字典更好的近似于某种特定的数据集。实验证明只要字典结构适合,这种基于聚类方式的字典数据压缩技术可获得更好的压缩效果。     

基于综合时空特性的混合式轨迹压缩算法

针对车辆全球卫星定位系统(GPS)中如何降低轨迹数据存储空间,提高数据分析及传送速度等问题,提出一种基于综合时空特性的混合式轨迹压缩算法.该算法一方面采用了新的综合时空特性的在线轨迹压缩策略,利用GPS数据的位置信息、时间信息、方向角、速度信息进行轨迹特征点的综合判断,以更准确地选取特征点;另一方面,采用了在线与批处理相结合的混合式轨迹压缩策略,定时采用道格拉斯批量压缩算法对在线压缩的轨迹集进行二次压缩,以提高轨迹的压缩效率.实验结果表明,较现有的时空特性压缩算法,新的综合时空特性在线轨迹压缩策略虽然在压缩率上略有下降,但压缩误差有显著减小.进一步采用混合式压缩策略后,通过选取适当的批处理时间周期,所提算法在压缩率和压缩误差上较现有的时空特性算法均有所改进.     

面向集成电路逻辑仿真的高效数字波形压缩方法

电路仿真在集成电路设计中占有十分重要的地位.超大规模集成电路仿真输出的信号波形会占用大量存储空间,输出波形的压缩对提升电路仿真效率至关重要.逻辑仿真的输出波形主要包含信号跳变时刻信号值,还包含全部信号名、信号类型、信号位宽等辅助信息.首先提出对辅助信息的压缩处理方法,然后针对信号值数据的特点改进现有工作中的信号名压缩方案,并据此提出一种更高效的数字波形压缩存储格式.所提出的格式有利于变长编码压缩的同时,可以使用通用压缩算法进行二次压缩,进一步提升了压缩率.最后通过引入并行策略,压缩和解压缩过程能够以3阶段流水线模式运行.在缩短压缩和解压缩时间的同时,能更好地与逻辑仿真器相结合.实验结果表明,所提方法的压缩率最大达到720倍,相较于现有方法,在更短的压缩、解压缩耗时下文件压缩率最大提升近23倍.     

一种船舶雷达导航回波数据压缩算法的设计

为了解决船舶雷达导航系统存储空间小、原始回波数据量多和文件大等矛盾,根据船舶雷达数据的特点,设计了位图压缩—半字节压缩—双哈夫曼压缩的混合压缩算法;该算法以半字节压缩算法为核心,融合了位图压缩算法和哈夫曼压缩算法,单纯的半字节压缩算法理论上压缩比可达到50%,将位图压缩和哈夫曼压缩与其融合后,总压缩比可达76%以上;实验证明,新算法可以为船舶导航系统节省了大量的存储资源,并提高了数据传输的速率。     

基于PDC编码的中文文本压缩算法

针对中文文本结构的特点以及传统压缩算法对中文文本压缩的不足,提出并实现了一个基于PDC编码的中文文本压缩算法。该算法采用的是字典压缩方式。根据单个汉字在中文文本出现的概率,采用Huffman编码方式进行前缀变长编码;定义由某个汉字为前缀的词组和短语的深度;对具有相同前缀和相同深度的词组和短语进行局部的定长编码,构成一部压缩编码字典。通过对相同文本分别使用该算法和传统的LZW和LZSS编码算法压缩后得到的数据结果对比,压缩率有2.53%~40.48%的提高,表明该压缩算法有较好的压缩效果。     

自适应的无损数据压缩算法

传统的无损压缩算法都是以追求更高的压缩率为目的,无法适应网络传输对压缩算法压缩性能的需求变化。该文提出了一种自适应可调节压缩率的压缩算法,根据参数实时调节压缩算法的压缩率,以满足不同情况对压缩性能的要求。实验证明在远程传输环境下该算法比传统的压缩算法具有更高的传输效率。     

基于在线压缩的数据采集存储系统

在高速数据采集存储系统中,随着数据存储速度需求越来越高,数据带宽和计算能力的快速增长,存储性能越来越成为系统性能的瓶颈。为此,设计并实现一个基于在线压缩的数据采集存储系统。该系统通过提供一套简单的API,实现自身的灵活性以及高可集成性。系统允许用户注册自己的压缩算法,同时向用户屏蔽压缩数据的管理,并且对数据压缩以及存储过程进行优化。实验结果表明,在数据达到一定压缩率情况下,该系统显著地减少数据存储时间,提高了系统的存储速率,同时提高了存储空间利用率。     

一种改进的LZW算法在图像编码中的应用

在医学、安全、遥感等领域,由于数据保真度要求苛刻,对高效的图像无损压缩方法有着迫切的需求.本文通过对字典压缩方法的研究和分析,针对传统LZW方法在建立字典初期压缩效果差这一不足,提出了一种动静结合的改进LZW字典压缩算法.实验结果表明,改进的LZW算法的压缩比相对于传统算法有较明显的提高.     

金融业务数据库的数据压缩方法

针对金融业务中实时数据库的数据存储特点,提出结构混合压缩(SMC)算法。SMC算法利用金融数据具有纯文本、数据分散和数据项内重复少的特点,以哈夫曼编码作为算法基础,根据词频将单字和词组混合,在哈夫曼树中引入数组结构,对文本数据进行压缩。测试结果表明,SMC算法的平均数据压缩率比原始哈夫曼算法提高了约13%。     

MR编码在传真图像编码中的仿真应用

传真图像的信息量非常大,对其进行数据压缩,不仅可以节省存储空间,而且可以有效地降低传输时间。采用MR编码对传真图像进行数据压缩,设计了压缩和解压缩编码算法。仿真实验表明,该算法可以满足传真图像对压缩比和压缩速度的要求,且有效可行。     

医学图像的ROI-JPEG有损压缩技术

在JPEG有损压缩技术的基础上，提出了一种基于医学图像ROI的JPEG有损压缩方法，在保证ROI区域图像无损的前提下，有效地提高了图像的压缩比。     

Upscaledb: Efficient integer-key compression in a key-value store using SIMD instructions

Compression can sometimes improve performance by making more of the data available to the processors faster. We consider the compression of integer keys in a B+-tree index. For this purpose, systems such as IBM DB2 use variable-byte compression over differentially coded keys. We revisit this problem with various compression alternatives such as Google's VarIntGB, Binary Packing and Frame-of-Reference. In all cases, we describe algorithms that can operate directly on compressed data. Many of our alternatives exploit the single-instruction-multiple-data (SIMD) instructions supported by modern CPUs. We evaluate our techniques in a database environment provided by Upscaledb, a production-quality key-value database. Our best techniques are SIMD accelerated: they simultaneously reduce memory usage while improving single-threaded speeds. In particular, a differentially coded SIMD binary-packing techniques (BP128) can offer a superior query speed (e.g., 40% better than an uncompressed database) while providing the best compression (e.g., by a factor of ten). For analytic workloads, our fast compression techniques offer compelling benefits. Our software is available as open source.     

数据压缩算法研究与设计

文章应用Java编程实现了基于统计模型、字典模型、RLE的压缩算法的数据压缩程序并进行了数据实验。实验结果表明目前的算法不是对所有数据都是最优的。文章还依据文件存储的本质,即任何一个文件本质上都可以转换为一个数字序列,讨论了基于数字序列的无损压缩算法和给出了表整数为幂和的方法,从实验的结果来看,这两种算法在某些情况下的压缩比率比现有压缩算法有所提高,能够将有的文件压缩到40%~95%左右。     

分布式并行绘制系统中几何指令流压缩的研究与实现

对分布式并行绘制系统的几何指令进行压缩能缓解网格带宽瓶颈，对操作码作用LZW算法，对法向量使用球面对称网格剖分算法，对颜色和位置数据使用DPCM型预测编码算法，根据位置数据的特殊性，使用了4类预测器和自适应量化算法，对几何指令流组合使用多种压缩算法取得了良好的效果。在几何模型质量基本没有损失的情况下，指令平均长度压缩到原来的1/3左右，执行速度达到了400指令/ms。     

Investigation of block-sorting of multiset permutations

A recent development in data compression area is Burrows–Wheeler Compression algorithm (BWCA). Introduced by Burrows and Wheeler, the BWCA achieves compression ratio closer to the best compression techniques, such as partial pattern matching (PPM) techniques, but with a faster execution speed. In this paper, we analyze the combinatorial properties of the Burrows–Wheeler transformation (BWT), which is a block-sorting transformation and an essential part of the BWCA, introduce a new transformation, and delineate the new transformation with the BWT based on the multiset permutations.     

Huffman算法的改进及其在图像压缩中的应用

本文改进了Huffman编码算法,主要是针对Huffman编码生成Huffman树构造中的排序方法的改进,提出一种基于"堆排序"的新方法。采用堆排序找到最小值实现Huffman编码,经过这种改进的Huffman编码方法对内存读写的次数大为减少,从而提高了响应速度。使得Huffman编码效率有所提高。通过对JPEG的Huffman压缩算法的分析以及采用4个JPG文件对改进的和传统的Huffman算法进行了仿真实验,对比分析表明改进算法的性能无论是压缩比率还是压缩时间方面都比经典的Huffman算法性能有所提高。     

An automatic cryptanalysis of simple substitution ciphers using compression

Automatic recognition of correct solutions as a result of a ciphertext only attack of simple ciphers is not a trivial issue and still remains a taxing problem. A new compression based method for the automatic cryptanalysis of simple substitution ciphers is introduced in this paper. In particular, this paper presents how a Prediction by Partial Matching (PPM) text compression scheme, a method that shows a high level of performance when applied to different natural language processing tasks, can also be used for the automatic decryption of simple substitution ciphers. Experimental results showed that approximately 92% of the cryptograms were decrypted correctly without any errors and 100% with just three errors or less. Extensive investigations are described in this paper, in order to determine which is the most appropriate type of PPM scheme that can be applied to the problem of automatically breaking substitution ciphers. This paper shows how a new character-based PPM variant significantly outperforms other schemes including the standard Gzip and Bzip2 compression schemes. We also apply a word-based variant which when combined with the character-based method leads to further improved results.     

压缩对Hadoop性能影响研究

当今,磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度,并且网络I/O资源稀缺,所以I/O常常成为数据处理的瓶颈。Hadoop能存储PB级数据,因此I/O问题愈加显著。压缩是I/O调优的一个重要方法,它能减少I/O的负载,加快磁盘和网络上的数据传输。首先通过分析Hadoop中各压缩算法的特点,得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩,并用实验得以验证补充。基于该策略,一些Hadoop应用在合理使用压缩后,效率能提高65%。