基于优化过滤策略的XML数据查询处理

如何高效地处理XML查询,是目前研究的热点。由于当前方法存在过多扫描无用节点引起效率下降的问题,本文设计了一种XML数据的二级索引结构,基于该结构给出路径查询处理算法。首先,本文对XML模式中每个节点按路径类型进行分类编码,然后把每个节点按该编码进行聚类存储。在查询时,就可以先根据模式信息和查询信息得到目标节点的编码,然后只需将二级索引中这些编码对应的部分载入内存,进行过滤操作。这样就不必扫描整个索引,提高CPU和IO效率。本文还对二级索引结构进行扩展,使本文的过滤索引能方便应用在有分支结构的查询上。实验结果表明,本文的XML数据过滤算法效率优于基于Bit vector的过滤算法,并且索引结构所需要的存储空间也小于Bitvector索引。     

一种基于编码压缩的数据广播关键字索引方法

无线环境的特殊性导致传统的关键字检索方法不能很好地用于周期数据广播之中.倒排表是全文检索中广泛使用的一种索引技术,但倒排表索引和基于哈希的数据索引无法解决索引结构过大的问题.为此,在周期数据广播环境下,提出一种新型的关键字索引结构,对倒排表进行编码压缩,缩减索引结构来减少访问时间和调谐时间.同时,与编码压缩索引相结合,设计一种周期数据广播下的文档调度方法.在真实数据集上进行的实验结果表明,该方法可缩减索引结构的规模,降低访问延迟和能耗.     

基于素数编码Schema的XML索引结构的研究

针对XML文档查询,提出了一种基于素数编码Schema的XML索引技术.该索引是对XML模式采用素数编码,对XML文档采用Li-Moon编码,这样在建立XML文档的节点索引时,也可对该节点的路径信息进行记录.在节点类索引的基础上,记录路径信息,既可以很好地支持正则路径表达式,同时又避免了节点类索引在处理长路径表达式时可能造成高昂的连接操作代价.实验结果表明,该索引的性能总体上要好于传统的节点类索引.     

基于压缩HMAC算法的传感器网络范围查询方法

传统范围查询方法主要针对一维数据,在感知节点上传的信息较多,导致能耗较高。提出一种基于压缩HMAC算法的两层无线传感器网络多维数据范围查询方法。使用AES对称加密算法生成数据密文及加密索引链,运用反向0-1编码和压缩HMAC算法生成最值比较链,反向0-1编码不需额外进行数值化处理,压缩HMAC算法能够缩短HMAC编码长度,从而减少感知节点的发送数据,降低感知节点的能量消耗。在AliOS Things Developer Kit开发板和iTOP-4412核心板上对该方法进行实验,并从单个周期采集数据个数、感知节点数据位数和采集数据维数3个方面与CSRQ等方法进行能量消耗对比分析,结果表明,该方法能保持数据的完整性,且能量消耗更少。     

XML数据库的索引技术研究

目前XML已经成为Internet以及电子商务中进行数据表示和数据交换事实上的标准.本文研究了XML的两种索引技术即结点记录类索引、结构摘要索引.深入分析了XML数据的区间编码技术,利用编码技术使孩子与双亲节点,兄弟节点可以通过编码值获取,降低节点对树型结构的依赖程度,使得查询在执行表达式时不必遍历整个结构树;同时引入基于后缀树的索引构造技术,尽可能地合并相同标签路径的节点.所以,周游一条路径即可得到该标签路径下的所有节点,避免了相同标签路径的重复访问的缺陷.     

一种针对传输小变化数据的位压缩算法

针对小变化量数据的传输提出一种转置矩阵位压缩算法,将变化位和非变化位清晰地分开,并对变化位以位为单位进行压缩。实验结果表明:该算法的对小变化量数据的压缩效果很好,即使使用极为简单的行程编码压缩算法也可以取得极高的压缩率;该算法用于处理类似于工业控制系统状态参数等数据时,可缓解系统的网络负荷压力,提高网络的传输效率。     

移动计算环境中曲线数据实时压缩方法

移动计算环境中存储、计算和通信等资源受限,为了解决在资源受限环境中实时压缩和解压缩海量曲线数据的问题,提出了基于整形小波变换和FFEP编码的压缩方法.将曲线坐标根据给定容限从浮点数转换为整数,计算其一阶差分后进行整形小波变换;为了加快编码解码速度,提出FFEP编码方案,根据数据的概率分别采用4位、5位、8位及变长码进行编码,对经小波变换后的高频部分有较好的编码效果.由于坐标类型转换、小波变换和FFEP编码主要采用整数位运算及加减法运算并且在原存储空间实现,因此该方法具有较小的时间和空间复杂度.实验结果表明,本文方法能够在当前流行的PDA上将等高线数据实时地压缩到10%以内.     

支持数据更新的压缩编码研究

提出一种支持数据更新的XML压缩编码CXSU（Compact XML storage for Supporting Update processing）。CXSU编码将节点路径信息进行分解,避免了记录重复信息,同时支持节点祖先后代关系,父子关系和兄弟关系的表示。实验表明CXSU编码能节省存储空间,有效地支持XML数据动态更新。     

使用UB-tree索引时态XML

如何在XML文档中表达时间相关的数据,跟踪历史信息和恢复文档在以前任意时刻的状态的问题,在最近的研究中受到不少的关注.许多文献提出了各种不同的模型.我们将这一类的问题归为索引时态XML文档的问题.本文将时态XML文档转换到n维空间的节点和直线,使用UB-tree对这些 N维空间的节点和直线进行索引,并针对时态查询提出了新的查询算法.通过实验证明,这样的索引比之前针对时态模型提出的索引具有更好的性能.     

多重压缩DNA序列数据

根据DNA序列数据的特点,提出对DNA序列数据进行多重压缩的思想。多重压缩的首要步骤是扩展字母表。首先对DNA序列数据进行0/1编码,然后每8位转换成一个ASCII码字符,将原来的DNA序列数据仅含有的4个字符扩展到256个字符。第二步采取基于统计模型的Huffman编码压缩算法和基于转换模型的Burrows-Wheeler算法,对扩展后的DNA序列数据进行二次压缩。最后对各种算法的压缩结果进行性能分析比较,比较结果显示,多重压缩算法有较优的压缩比。     

端到端优化的图像压缩技术进展

图像压缩是数据压缩技术在数字图像上的应用,其目的是减少图像数据中的冗余,从而用更加高效的格式存储和传输数据.传统的图像压缩方法中,图像压缩分为预测、变换、量化、熵编码等步骤,每一步均采用人工设计的算法分别进行优化.近年来,基于深度神经网络的端到端图像压缩方法在图像压缩中取得了丰硕的成果,相比传统方法,端到端图像压缩可以...     

一种分形彩色图像压缩编码方法

在分析彩色图像色彩三分量r,g,b的相关性和分形四叉树编码层次信息冗余性的基础上,提出了一种分形彩色图像压缩编码方法.它将图像的3个独立的颜色分量按某种方式组合成1个来搜索匹配块,从而将需要存储和搜索的3个颜色分量匹配块(SFC方法)减少为1个,并且对四叉树层次信息进行压缩.此外,采用不同的组合,得到了几个图像压缩比和解码质量相近的编码方法,其中使用亮度分量的方法比使用其他方法速度更快.实验结果表明,它优于SFC方法及标准JPEG方法,不失为一种好的分形彩色图像压缩方法.     

机场助航单灯监测无线传感器网络的数据压缩研究

以机场助航单灯监测无线传感器网络为研究对象,为了合理利用节点有限的能量、延长无线传感器网络的使用寿命,详细讨论了在簇头及汇聚节点上对节点监测信息进行压缩的策略及其实现.结合助航灯光故障变化缓慢的特点,使用差分编码算法来大幅减少汇聚节点每次巡检后需要上传的数据.基于灯光故障类型的分布特点及灯位位置标识编码间的相关性,对现有的管道压缩算法进行了改进和实现.仿真结果表明,改进的管道压缩算法能够在汇聚及簇头节点上取得较小的数据压缩比.     

GPS数据的纯数字化协同压缩算法

对需实时传输的GPS(Global Position System)定位数据进行数据压缩,降低其数据传输量并最大限度地保留原GPS数据的完整性。依据GPS定位数据特性对其进行纯数字化无损预处理,引入Golomb-Rice算法并提出算法协同压缩思想。实验表明半字节编码与实时二进制算术编码协同压缩GPS数据最佳,该协同算法不仅满足GPS数据传输实时性,而且其压缩率在85%以上。本算法减少了GPS数据传输量,降低了流量成本;能适应多种类型的GPS定位数据压缩;无区域使用局限性,能够在全球任意国家中使用。     

低熵图像序列无损压缩

大规模的云渲染技术带来了大量的三维图形渲染数据。为了减小集群渲染产生的图像序列数据的传输以及存储代价,针对渲染图像序列低熵的特点,基于字典编码技术提出了降低数据局部复杂性的无损数据压缩方案。该方案通过数据重排技术来大大提高数据的局部冗余度,从而提高数据无损压缩效率。为了进一步解决大规模图像序列的压缩耗时问题,提出了一种云计算平台上的分布式图像压缩处理方案,充分利用现有云计算中Map/Reduce计算模型实现了分布式编码方案。实验结果证明,对于渲染产生的大规模低熵图像序列,提出的方案能够有效提高编码率并减少编码时间。     

基于神经网络的数据压缩研究

数据压缩=建立模型 编码,是传统数据压缩的最基本思想。传统的设计思路主要基于减少信息中的冗余着力于编码设计,其压缩比一直在百分之几十左右徘徊,经过传统编码压缩的信息,很难再经类似的方法进一步压缩。为了解决上述的问题可用占用信号空间较少的信息表示占用信号空间较多的信息以实现数据压缩。这就是数据压缩新的设计思路,这样,就突破了传统的只依靠编码减少数据冗余的局限,实现了更高的压缩比。同时,经过这样压缩后的信息可再重复压缩,并有很好的性能。这就是文中所介绍的神经网络与数据压缩结合的基本思想。     

基于交替-连续长度码的测试数据编码方法

为了减少测试数据量,提出基于交替-连续长度码的测试数据编码方法。采用变长-变长的编码方式,直接编码测试集中连续-交替的长度码。实验结果表明,该方法的解压结构是一个简单的有限状态机,所需额外硬件开销小,与同类型的编码方法相比,具有更高的测试数据压缩率。     

SAR复图像数据的CCSDS-IDC编码性能分析与四叉树编码

目的：CCSDS-IDC (国际空间数据系统咨询委员会-图像数据压缩) 是NASA制定的基于离散小波变换(DWT)尺度间衰减性的空间图像数据压缩标准,适用于合成孔径雷达(SAR)幅度图像及各类遥感图像的压缩。然而,与光学图像不同,常见的SAR图像都是复图像数据,其在干涉测高等许多场合具有广泛应用,分析研究CCSDS-IDC对SAR复图像数据的编码性能具有重要的应用价值。方法：由于SAR复图像数据不具有尺度间的衰减性,因此将其用于SAR复图像数据编码时性能较低。考虑到SAR复图像数据DWT系数呈现出聚类特性,提出将四叉树(QC)用于DWT域的SAR复图像数据编码,发现QC对SAR复图像数据具有高效的压缩性能。结果：实验结果表明,在同等码率下,对基于DWT的SAR复图像数据压缩, QC比CCSDS-IDC最多可提高幅度峰值信噪比4.4dB,平均相位误差最多可降低0.368;与基于方向提升小波变换（DLWT）的CCSDS-IDC相比,QC可提高峰值信噪比3.08dB,降低平均相位误差0.25;对其它类型的图像压缩,基于聚类的QC仍能获得很好的编码性能。结论：CCSDS-IDC对SAR复图像数据编码性能低下,而QC能获得很好的编码性能。对应于图像平滑分布的尺度间衰减性,其在某些特殊图像中可能不存在,而对应于图像结构分布的聚类特性总是存在的,故在基于DWT的图像编码算法设计中,应优先考虑利用小波系数的聚类特性,从而实现对更多种类图像的高效编码。     

Block-oriented compression techniques for large statisticaldatabases

Disk I/O has long been a performance bottleneck for very large databases. Database compression can be used to reduce disk I/O bandwidth requirements for large data transfers. The authors explore the compression of large statistical databases and propose techniques for organizing the compressed data such that standard database operations such as retrievals, inserts, deletes and modifications are supported. They examine the applicability and performance of three methods. Two of these are adaptions of existing methods, but the third, called tuple differential coding (TDC), is a new method that allows conventional access mechanisms to be used with the compressed data to provide efficient access. They demonstrate how the performance of queries that involve large data transfers can be improved with these database compression techniques     

A secret image sharing scheme based on piecewise linear chaotic map and Chinese remainder theorem

In this paper, a secret image sharing scheme, by combining arithmetic compression coding and Chinese remainder theorem (CRT) is proposed. It is well known that arithmetic compression coding method for image has a good compressibility, and it can reduce the size of the shadow image, which consists of sharing values. Usually, a smaller shadow image is convenient to store and transmit. The piecewise linear map is applied to design compression coding scheme, which has the same properties as the conventional arithmetic compression coding. The CRT is used to construct the sharing scheme for compression codes. Meanwhile, it also has encryption effects in the process of sharing. Finally, the security and the effectiveness of the secret image sharing scheme are confirmed by some computer simulation results.