实时历史数据库中压缩技术的并行化研究

实时历史数据库系统需要极高的数据压缩速度,但传统的压缩算法都使用串行处理,数据压缩和文件读写都要耗费大量的时间.为了提高数据压缩速度,提出一种并行压缩算法,首先把待处理数据分成若干小块,然后通过对块数据压缩、解压缩、文件读写并发处理,充分发挥多核处理器的高性能.并设计出一种适合并行压缩算法的压缩数据存储文件格式和一个数据段信息循环链表,通过多线程编程技术来实现并行压缩算法.使用工程实测数据在多核处理器系统上的实验表明,并行压缩算法可以极大地提高数据压缩速度,满足实时历史数据库的需求.     

CUDA并行数据压缩技术研究

在信息爆炸的今天,提高海量数据压缩比和压缩速度已成为一种迫切需求。该文主要通过介绍数据压缩的背景知识、数据压缩的现状,详细分析了基于bzip2的并行数据压缩技术及其并行实现高速数据压缩的算法,提出在CUDA架构上利用GPU实现并行数据压缩的方法。结果表明,该文提出的方法相对于在CPU上并行压缩,虽然压缩速度降低但压缩比却提高了,这体现了CUDA的优势和局限性。     

在大规模数据集上进行快速自适应同步聚类

现有的同步聚类方法Sync在同步过程中需要将样本中的每一个分量看作相位振子进行计算,具有较高的时间复杂度,因此在大规模数据集上聚类时具有相当大的局限性.为了解决这一问题,提出了快速自适应同步聚类方法(fast adaptive KDE-based clustering by synchronization,FAKCS).FAKCS首先引入基于压缩集密度估计和中心约束最小包含球技术的快速压缩方法对大规模数据集进行压缩,然后通过使用Davies-Bouldin指标,在压缩集上进行ε参数自适应的同步聚类,并采用新定义的序列参量来评价局部同步的程度.另外,研究了序列参量和核密度估计间的联系,从理论上揭示了样本点的局部同步在概率密度意义下的本质.FAKCS可以在大规模数据集上得到任意形状、个数、密度的聚类而无需预设聚类数目.在图像分割和大规模UCI数据集上的实验验证了FAKCS的有效性.     

数据压缩算法研究

数据压缩可以去除数据中的冗余信息,减少数据的存储量,同时也可以减轻网络负担.本文介绍了目前最常用的几种数据压缩的方法,包括预测编码技术、时间序列线性拟合技术、DCT变换、DWT变换和压缩感知.     

低熵图像序列无损压缩

大规模的云渲染技术带来了大量的三维图形渲染数据。为了减小集群渲染产生的图像序列数据的传输以及存储代价,针对渲染图像序列低熵的特点,基于字典编码技术提出了降低数据局部复杂性的无损数据压缩方案。该方案通过数据重排技术来大大提高数据的局部冗余度,从而提高数据无损压缩效率。为了进一步解决大规模图像序列的压缩耗时问题,提出了一种云计算平台上的分布式图像压缩处理方案,充分利用现有云计算中Map/Reduce计算模型实现了分布式编码方案。实验结果证明,对于渲染产生的大规模低熵图像序列,提出的方案能够有效提高编码率并减少编码时间。     

基于遗传压缩感知的无线传感器网络数据压缩方法

考虑到无线传感器网络WSNs能量、通信带宽、计算能力及成本有限,不适合大规模数据传输,同时存在数据冗余,需要进行数据压缩处理,提出一种新的基于遗传算法的压缩感知CS(Compressive Sensing)重构方法,应用于无线传感器网络数据压缩中。详细阐述分布式WSNs数据压缩特点,压缩感知基本理论,基于遗传算法的CS重构新方法以及在WSNs数据压缩中的应用。通过实验仿真证明,从压缩比、节点平均能耗、网络生存时间和网络时延四个方面,与DCCM算法及CCS算法的WSNs数据压缩算法进行比较,提出的算法具有较高的压缩比,提高了采集数据的重构精度,降低了数据冗余度和网络通信量,提高了网络效率。     

基于特征点界标过滤的时间序列模式匹配方法

动态时间弯曲距离能度量不等长的时间序列、且具有较高的匹配精度,因此广泛应用在时间序列模式匹配中。但其计算复杂度较高,制约了在大规模数据集上的应用。为了实现时间序列模式度量结果和计算复杂度的平衡,提出一种基于特征点界标过滤的时间序列模式匹配方法。首先,提出一种特征点界标过滤的特征提取方法,保留时间序列主要特征,压缩时间维度;然后,利用动态时间弯曲距离对特征序列进行相似性度量;最后,在应用数据集上对所提方法进行有效性验证。实验结果表明,所提方法在保证高精度的前提下,能有效降低计算复杂度。     

基于高通量测序的短序列生物数据压缩研究

高通量测序技术(NGS)的发展带来了测序数据量的极速增长,给数据的存储和传输带来了极大的压力。数据压缩技术是解决这个问题的重要方法。传统的压缩方法并没有很好地利用数据本身的特性。因此,计算机学者们关注于NGS测序数据专用的压缩方法。全面总结针对高通量测序技术产生的Fastq和Fasta数据的压缩算法,介绍了Fastq和Fasta数据的特点,总结了目前常用的压缩方法。并通过不同物种、不同测序平台、不同规模的测序数据对多个具有代表性的压缩工具进行测试,比较它们的压缩性能并且验证相应的工具特点,为研究人员提供工具选择指导或改善工具性能提供帮助。最后总结阐述短序列数据压缩工具存在的问题和发展趋势。     

MS—DOS6的磁盘压缩技术及应用

MS-DOS 6和以前的版本相比主要提供了三个方面新特点:(1)磁盘压缩;(2)数据保护,包括恢复先前删除的文件、用户定义备份数据、捕获和清除病毒等;(3)系统优化,包括硬盘、内存优化等。其中磁盘压缩又是MS-DOS 6着重向用户推荐使用的技术。 一、磁盘压缩技术 MS-DOS 6采用了两种数据压缩技术:文件压缩和有效文件空间分配。 所谓文件压缩是一种实时压缩,它是在文件写入磁盘时依据某一数据压缩算法将文件数据压缩,并将形成的压缩文件写入磁盘;而在压缩文件从磁盘     

图数据压缩技术综述

应用合适的压缩技术对包含上亿个节点和边的图数据进行紧凑准确的表示和存储是对大规模图数据进行分析和操作的前提。紧凑的图数据表示不仅可以降低图数据的存储空间,而且还可以支持在图数据上的高效操作。从图数据的存储角度出发对图数据管理中关于图数据压缩技术的研究进展进行综述,将重点介绍以下3种压缩技术:基于邻接矩阵的图数据压缩技术、基于邻接表的图数据压缩技术和基于形式化方法的图数据压缩技术,以及相关的代表性算法、适用范围和优缺点。最后对图数据压缩技术的现状和面临的问题进行了总结,并给出了未来图数据压缩技术的发展趋势。