XDrill:基于文件差异的XML文档压缩算法

XML已成为网络传输、信息交换领域数据交换和存储的标准.由于XML文档的自描述性,导致信息冗余,特别是在一些特殊的应用场合,如PDA,Smart Phone等网络资源受限的系统中,网络性能受到较大影响.虽然目前很多研究者提出了通过对XML文档进行压缩,来缓解系统负担,但是大部分的压缩方法关注单个文档的压缩,而对文档集合压缩效果较差.分析了已有的XML压缩算法在实际使用中的潜在问题,提出了一种新的基于文件差异的XML文档压缩算法--XDrill. 该算法通过对XML文档树进行划分来挖掘文档内部以及文档间的冗余信息,得到了良好的压缩效果.通过对XDrill系统的理论分析以及对实际数据集的测试表明,XDrill在压缩单个文档的性能上与XMill接近,对文档集合的压缩效果明显优于XMill压缩方法.同时,相比已有的XML压缩算法,XDrill支持增量式存储,并可以降低更新操作的系统开销.     

XCluster:基于聚类支持查询的XML多文档压缩方法

XML已成为各种网络应用中数据存储和数据交换的标准.XML数据管理面临的最大困难在于结构与数据混合存储导致大量数据冗余,这极大地增加了XML数据存储、交换和处理的代价.对XML文档进行压缩可以在一定程度上解决这个问题.但现有XML压缩方法大都仅压缩单文档中的冗余信息.利用XML文档间的相似性,提出一种支持查询的多XML文档压缩存储方法XCluster.XCluster先利用XML有根有序标签树上改进的pq-gram近似距离对XML文档集进行层次聚类;然后合并每个聚类结果子集中文档的结构得到结构代表并进行字典编码压缩;同时合并不同文档内同一标签下的值内容,并根据其数据类型进行相应编码压缩.实验结果表明,在真实和生成的XML多文档数据集上,XCluster比XGrind和XQilla具有更好的压缩效果和查询效率.     

基于结构标记树的XML可查询压缩方法

针对支持查询的XML数据压缩方法存在的路径和数据重复等问题,通过去除XML数据中的重复路径,简化XML数据结构,提出结构标记树的概念及其生成算法,设计一种基于结构标记树的可查询XML数据压缩方法SSTQC,对XML数据进行压缩和组织查询。SSTQC一次扫描XML文档,具有较好的的压缩性能和查询效率。     

一种基于文档模式的GML压缩方法

GML已成为地理空间数据编码的事实标准.GML文档一般体积庞大,存储和传输时占用巨额资源.提出了一种基于文档模式的有效GML压缩方法,通过用文档推导出的模式验证文档本身,对树自动机的状态转换路径进行比特编码,对坐标数据增量编码,实现GML文档压缩.对真实GML文档的压缩实验表明,所提出方法的压缩率优于通用文本压缩器(gzip和PPMD)、主要高性能XML压缩器(XMill,XMLPPM和XWRT)以及现有GML压缩器GPress.     

XQAD:一种XML查询的算法

目前已经提出的XML查询的方法大都是直接进行实例一级的查询,如XML文档树遍历及嵌套连接等。这些方法忽视了对XML格式信息的利用,当XML文档较大时,性能就会有明显下降。论文给出了一种直接利用DTD的格式信息对XML进行查询的算法XQAD。根据DTD和路径表达式的特点来减少对实例的访问次数,从而提高性能。XQAD还支持多谓词查询,包括结构谓词和值谓词。最后,用实验的方法同其它算法作比较,并对试验结果进行了分析。     

一种新的XML文档更新计算

当对XML文档进行插入操作时面临调整编码问题,目前提出的很多编码方案不能同时很好地支持XPath查询和XML文档更新。在分析现有编码方案的基础上,提出了基于完全树的编码方案,该编码方案采用序号冗余和虚拟节点两种冗余方式,不仅支持XPath的查询,而且能有效降低因插入节点需要对XML文档进行二次编码率。实验结果表明,完全树以及相应编码有效提高了XML文档插入节点的效率。     

XML文档压缩技术比较研究

XML已经成为互联网上信息交换和信息表示的事实标准。然而XML文档中包含大量重复出现的标签和结构等冗余信息,导致XML文档在查询处理和数据交换时付出更高的代价,特别在带宽和资源受限的设备上显得更为突出。压缩技术是解决这一问题的重要途径。搜集了近几年提出的各种XML压缩方法,从压缩率、压缩与解压时间、内存消耗、查询性能等方面比较分析了六个具有代表性的XML压缩技术,最后简要归纳了各自的优点和存在的不足,并探讨未来努力的方向。     

Sybase：两个数据库都支持XML

XML日益成为重要的数据交换格式,它使得我们对信息存储有了新的方法—直接使用XML语言和使用以XML为基础技术的数据查询工具和数据处理工具。Sybase公司的AdaptiveServerEnterprise(ASE)数据库与其嵌入式数据库AdaptiveServerAnywhere都已经支持XML,并且各具特色。A S E与X M LSybase公司在XML数据库Adap-tiveServerEnterprise(ASE),从12.0版本就已经开始支持XML。经过多年的应用,ASE数据库对XML的支持日臻成熟和完善。ASE允许开发人员创建、存储、提取和查询标准的XML格式的文档,为XML和关系型数据提供了一个统一的…     

基于整枝连接算法的多版本XML文档查询

XML文档采用树型数据模型,XML查询语言通常是一些基于多个元素的选择胃词组成的查询模式。整枝连接方法用来匹配XML查询模式,用相互连接的多栈结构一次性生成匹配结果。但它不支持多版本XML文档,本文就是探讨如何解决这个问题。     

基于四层贝叶斯网络的XML文档信息检索模型

提出了一种新的基于贝叶斯网络对XML文档信息进行查询的模型方法.该模型支持针对XML文档信息的结构化查询.基于XML信息查询的特点,利用XML数据集中语词、元素和结构化单元的统计信息对模型的拓扑结构和条件概率进行了学习;结合概率函数的方法,利用模型的概率推理进程对XML文档和结构化查询条件的相关度进行了估算.最后在基于INEX测试集的实验中证明了该方法的有效性和可靠性.     

基于正交小波包的图像压缩算法

本文提出了一种新的图像压缩方法,深入研究了正交小波包在图像压缩中的分解与重构算法,详细介绍了正交小波最优基的选取,并应用MATLAB软件进行仿真实验.仿真结果显示,该方法压缩比大,信息损失小,能够较好恢复原有图像.     

Best parameters selection for wavelet packet-based compression of magnetic resonance images.

Transmission of compressed medical images is becoming a vital tool in telemedicine. Thus new methods are needed for efficient image compression. This study discovers the best design parameters for a data compression scheme applied to digital magnetic resonance (MR) images. The proposed technique aims at reducing the transmission cost while preserving the diagnostic information. By selecting the wavelet packet's filters, decomposition level, and subbands that are better adapted to the frequency characteristics of the image, one may achieve better image representation in the sense of lower entropy or minimal distortion. Experimental results show that the selection of the best parameters has a dramatic effect on the data compression rate of MR images. In all cases, decomposition at three or four levels with the Coiflet 5 wavelet (Coif 5) results in better compression performance than the other wavelets. Image resolution is found to have a remarkable effect on the compression rate.     

基于模糊剪枝的最优小波包基图像压缩算法

提出一种基于模糊剪枝的最优小波包基图像压缩算法。图像经完全小波包分解后,以每个小波包分解的高频系数占所有高频系数的比值及每个节点子女熵值与原节点熵值的比值作为模糊系统的2个输入;通过构造模糊规则,将小波包系数分为裁剪类和保留类,由保留类构造最优小波包基;根据最优小波包基,在不同的小波包分解层次上采用不同的阈值对图像进行压缩。仿真实验结果表明,该算法与比特-失真率优化算法和小波包最优树全局阈值压缩算法相比性能更优。     

图象压缩双正交小波滤波器的优化设计

为了提高图象压缩效果 ,提出了一种比较新颖的基于图象压缩系统的构造最优双正交小波滤波器的设计方法 ,即在图象编码中 ,从选择小波基的原则出发 ,并以最常用的 Antonini's 9/ 7小波基为参考 ,选择 SPIHT为压缩方法 ,以压缩效果为准则来构造最优的双正交小波基 ,并且采用 L ena为标准训练图象 ;然后以压缩比为参数 ,通过得到最大的峰值信噪比来寻找最优的双正交小波基 ,从而将复杂的多输入 ,两输出问题简化为多输入单输出的最优化问题 ;最后用遗传算法解决这种最优化的问题 ,得到了最优的双正交小波基 .训练和检验的结果表明 ,这种最优的双正交小波基比 Antoninis 9/ 7小波基压缩效果有所提高 .     

On the concept of best achievable compression ratio for lossy image coding

The trade-off between image fidelity and coding rate is reached with several techniques, but all of them require an ability to measure distortion. The problem is that finding a general enough measure of perceptual quality has proven to be an elusive goal. Here, we propose a novel technique for deriving an optimal compression ratio for lossy coding based on the relationship between information theory and the problem of testing hypotheses. The best achievable compression ratio determines a boundary between achievable and non-achievable regions in the trade-off between source fidelity and coding rate. The resultant performance bound is operational in that it is directly achievable by a constructive procedure, as suggested in a theorem that states the relationship between the best achievable compression ratio and the Kullback-Leibler information gain. As an example of the proposed technique, we analyze the effects of lossy compression at the best achievable compression ratio on the identification of breast cancer microcalcifications.     

Arbitrarily shaped virtual-object based video compression

Object based compression techniques are widely believed to have the potential to give the best compression results for a given signal quality. However, true object tracking and extraction are difficult and computationally expensive. In this paper, an arbitrarily shaped virtual-object compression method is developed. The method is similar to the object based compression methods in that it separates the changing portion of the video from the stationary portion, and encodes them independently. The changing portion of the video is grouped as a 3D arbitrarily shaped virtual-object whereas the unchanged portion of the video is grouped as background. The arbitrarily shaped virtual object is coded using 3D wavelet compression whereas stationary background is coded as a single frame using 2D wavelet compression. Experimental results demonstrate that the newly developed method has comparable performance with the state-of-the-art compression methods and significantly outperforms rectangular virtual-object compression.     

基于AVS的帧内预测模式快速选择算法

AVS视频标准采用率失真优化（RDO）算法来提高帧内预测的压缩性能。但是RDO算法在保证编码图像获得最佳的压缩效率和图像质量的同时给整个编码过程带来了很大的计算量。提出了一种简单有效的AVS1-P2帧内预测模式的快速选择算法。该算法利用相邻块最佳预测模式之间的相关性和块内亮度变化的方向性来缩小候选模式的范围,从而有效节省了编码总时间。实验结果证明,与AVS1-P2的标准参考软件rm52j相比,本算法在保证图像质量和比特率几乎不变的情况下,编码总时间减少了24%~27%。     

Upscaledb: Efficient integer-key compression in a key-value store using SIMD instructions

Compression can sometimes improve performance by making more of the data available to the processors faster. We consider the compression of integer keys in a B+-tree index. For this purpose, systems such as IBM DB2 use variable-byte compression over differentially coded keys. We revisit this problem with various compression alternatives such as Google's VarIntGB, Binary Packing and Frame-of-Reference. In all cases, we describe algorithms that can operate directly on compressed data. Many of our alternatives exploit the single-instruction-multiple-data (SIMD) instructions supported by modern CPUs. We evaluate our techniques in a database environment provided by Upscaledb, a production-quality key-value database. Our best techniques are SIMD accelerated: they simultaneously reduce memory usage while improving single-threaded speeds. In particular, a differentially coded SIMD binary-packing techniques (BP128) can offer a superior query speed (e.g., 40% better than an uncompressed database) while providing the best compression (e.g., by a factor of ten). For analytic workloads, our fast compression techniques offer compelling benefits. Our software is available as open source.     

基于DPCM与S+P变换的图像无损压缩

S+P变换是由AmirSaid犤7犦提出的一种多分辨表示方法,能够实现整数到整数的变换,从而成功地应用于图像的无损压缩,其性能优于基于线性预测的JPEG标准。为了进一步提高压缩性能,论文提出了一种基于DPCM与S+P变换的图像无损压缩算法。首先,对原始图像进行线性预测,得到差值图像;其次,对差值图像进行S+P变换;最后,对变换系数进行熵编码压缩。新算法利用像素间的相关性,给出了一种新的利用一维S+P变换实现图像变换的方法,减少了变换增加的数据量,有效地解决了边界处理问题。实验结果与性能比较表明:新算法有效的,优于其它著名的基于多分辨分解的无损图像压缩编码算法犤7,10,12犦。