列存储数据仓库中基于概率的保序字符串压缩方法

数据仓库中采用按列存储的方式更有利于数据的压缩,保留顺序的轻量级压缩方法对列存储的字符串属性压缩显示其优越性,然而现有做法很难兼顾字符串出现的概率对压缩效率的影响,影响了压缩性能.因此,提出一种基于概率的保序字符串压缩方法.首先,提出一种扩展的共用叶子结构,使得编码索引和解码索引共享同一个码表,大大减少了编码和解码索引的维护时间.同时在该结构中,记录字符串出现的概率,并根据概率的高低建立解码索引,有效降低了高频字符串的解压时间.进一步,根据列存储的特点,将用于列连接的行号信息保存在扩展的叶子结构中,从而有效减少了列值索引的存储空间和创建时间.实验结果验证了该方法的有效性.     

压缩感知中块结构字典学习方法改进

基于稀疏聚集的块结构字典学习方法不能对字典原子支撑集数目差别大的情况进行辨别的问题,提出了一种利用球面K-均值学习块结构字典的方法,将字典原子支撑集差别纳入考虑范围,通过余弦距离判别将相近的字典原子聚类,形成具有非均匀块结构的字典;利用学习得到的块结构字典对信号进行重构.仿真实验表明:与离散余弦基(DCT)、无结构字典和基于稀疏聚集的块结构字典相比,改进方法学习的字典与图像信号的匹配度更好,有效地提高了图像重构质量,降低了信号的重构误差.     

一种基于自适应字典的通用无损压缩算法

对LZ77和LZ78两种算法进行了深入的考察,提出了一种改进的LZ算法LZI（LZ Improved),即基于LZ78算法和LZ77的混合算法,LZI算法具有LZ78和LZ77相似的计算复杂度和存储复杂度。实验结果表明,LZI算法具有更好的全局与局部自适应性。更高的压缩效率。     

基于字典学习的卷积神经网络压缩方法

为解决深度卷积神经网络模型占用存储空间较大的问题,提出一种基于K-SVD字典学习的卷积神经网络压缩方法。用字典中少数原子的线性组合来近似表示单个卷积核的参数,对原子的系数进行量化,存储卷积核参数时,只须存储原子的索引及其量化后的系数,达到模型压缩的目的。在MNIST数据集上对LeNet-C5和CIFAR-10数据集上对DenseNet的压缩实验结果表明,在准确率波动不足0.1%的情况下,将网络模型占用的存储空间降低至12%左右。     

基于划分的增量式字符串相似性连接方法

字符串相似性连接是数据质量管理的基本操作,也是数据价值发现的关键步骤。针对目前已有的方法不能满足面向大数据的增量式处理需求的问题,提出一种面向流式数据的增量式字符串相似性连接方法——Inc-Join,并对方法的索引技术进行了优化。该方法以Pass-Join字符串连接算法为基础,首先,采用字符串划分技术将字符串划分成多个互不相交的子串;然后,建立字符串的反向索引列表并将其作为状态;最后,新增数据只需根据状态进行相似性计算,每次连接操作结束后都对状态进行更新。实验结果表明,Inc-Join方法在不影响连接准确率的同时,有效将长、 短字符串重复匹配次数减少为√n(n是批处理方式的匹配次数)。 实验对3种数据集进行处理,发现使用批处理方式进行相似性连接的响应时间是Inc-Join的1至4.7倍,并呈现急剧递增的趋势;而且优化后Inc-Join方法的响应时间最小只占优化前的3/4,并随处理数据的增多所占比例越来越小。同时优化后的Inc-Join不需要保存状态,再一次减小了算法执行的时间和空间开销。     

SIP信令压缩动态字典方案

在对SIP信令进行动态压缩的过程中,需要使用大量的状态内存空间来存储状态信息,造成状态内存的极大浪费。提出用于SIP信令动态压缩的结构化动态字典设计方案,并结合LZSS算法设计一种基于动态字典的SIP压缩机制,改进SIP信令压缩。实验结果表明,该压缩机制在一定程度上降低了压缩算法的时间复杂度,并实现了状态内存的高效利用。     

精度可控的字典全局相似性点云压缩

为了控制三维点云数据的压缩精度,通过对点云空间划分建立字典结构,提出一种压缩精度可控的全局相似性点云压缩方法.首先对点云进行均匀空间划分并离散表示;然后建立一个字典,作为表示该离散数据的一组基以及一套用词条索引表示的数据结构;最后通过对字典中相似词条合并实现字典压缩,并通过无损编码实现索引压缩.实验结果表明,在普通PC机环境下对ModelNet和Farman数据集中的2组点云数据,该方法均能进行任意指定精度的压缩.     

基于训练字典的压缩感知光谱稀疏化方法

压缩感知理论利用目标的稀疏特性,能从极少的测量值中重构出目标图像,已成为突破奈奎斯特采样定理,实现超分辨成像的一个极具潜力的研究方向,其应用于对地观测遥感成像的一个核心问题在于面对复杂的地物场景,如何探求有效的稀疏化表达方法。对于具有超高数据量的高光谱成像而言,充分利用波段间丰富的冗余光谱信息,研究有效的光谱稀疏化表达方法更加具有实用价值。首先介绍了压缩感知光谱成像以及光谱稀疏化表达的基本原理,然后利用来自ASTER光谱库的多种类型地物光谱数据构建了一种基于K-SVD方法的训练字典,将其与DCT基、小波基分别作为稀疏基,对于几种典型地物目标进行仿真重构,结果表明:所构建的稀疏字典在采样数较少的情况下明显优于DCT基和小波基,在20%的低采样率时即可近乎完美地重构光谱曲线。     

采用模糊字典编码的小波图象压缩方法

本文讨论了采用小波变换进行图象压缩的基本方法。并根据小波变换域数据的基本特性,在字典编码算法的基础上提出了二维模糊字典编码算法,将传统的变换压缩方法中的量化和编码部分有机地结合起来,并取得了较好的压缩效果     

无理数字典码的测试数据压缩方案

提出了一种无理数字典码的测试数据压缩方案;能有效地压缩芯片测试数据。方案利用无理数序列建立字典;编码时只需进行相容性检查;无需填充无关位;简化了操作步骤;同时;选择局部压缩率最大的一组数据作为最终编码结果;保证压缩效果可以达到局部最优。对ISCAS 89标准电路Mintest集的实验结果显示;该方案的压缩效果优于传统压缩方法;如Golomb码、FDR码、混合定变长码等。     

基于压缩的海量不完整数据近似查询方法

随着数据的爆炸式增加,不完整数据普遍存在,传统的数据修复方法对于海量数据处理代价过高,且不能彻底修复,在这些不完整的海量数据上进行满足给定需求的近似查询引起了学术界的关注.因此,提出一种基于压缩的海量不完整数据近似查询方法,该方法对属性值缺失字段进行标记,根据频繁查询条件对标记后的数据进行压缩,并建立对应索引;根据属性划分对索引文件再次压缩以节省存储空间,采用编码字典对索引压缩文件进行选择和投影操作,最终获得不完整数据的近似查询结果.实验表明,该方法能够快速定位不完整数据的压缩位置,提高了查询效率,节省了存储空间,并且保证了查询结果的完整性.     

虚拟网络计算(VNC)协议中的编码方法

VNC协议由于它真正的瘦客户技术和平台独立性,得到了广泛的应用和关注。编码方法作为VNC协议中核心技术,对远程图形显示具有重要意义。文中对VNC协议中的编码方法进行了介绍,并提出了一种高效快速的编码方法。     

一种基于3DTV编解码技术的视频流传输方法*

3DTV编解码技术及其立体视频流的优化传输方法是构建实时立体多视角3DTV系统的关键所在。通过对立体视频压缩编码和优化技术、立体视频解码技术,以及运动补偿预测与视差补偿预测技术的分析,在基于DSP平台TMS320DM642上进行AVS标清立体视频编解码及视频流优化传输,得出将互补的流媒体内容分发技术加以融合的立体视频流传输方法。     

一种基于字典的快速分形图像编码方法

针对传统分形图像编码方法编码时间较长的问题,提出一种基于字典的快速分形图像编码方法。利用Julia分形集通过较少参数即能产生丰富图像的特点,将其做成压缩字典,对任意图像均可在字典内查找到合适的定义域块。实验结果表明,在保证编码效果的前提下,该方法可以提高编码速度,尤其对于大尺寸图像,提升幅度更为明显。     

自适应Viterbi译码器技术

随着现代通信技术的迅速发展,高速和高可靠性成为衡量信息传输质量的关键指标。信道编码技术能够对信道差错进行控制,降低误码率,实现可靠通信,具有重要的军事和民用意义。Viterbi译码算法及其实现技术是信道编码技术的一个重要组成部分,但是其存在自身的缺陷或不足。Viterbi译码算法的译码性能将会随着码的相关长度k增加而提高,但其实现的复杂度将以2k的比例增长。提出了一种自适应Viterbi译码算法——IAVA(Improved Adaptive Viterbi Algorithm)。该算法利用信噪比评估模块自适应地调整门限值的高低,并利用复杂度评估模块自适应地改变译码器的基状态数,从而合理利用硬件资源。当译码器工作于低信噪比环境中时门限被自动调高,保证译码性能的同时适当减少了译码器的复杂度;当工作于高信噪比环境中时门限被自动调低,此时译码器复杂度得到锐减,译码模式将切换到基-4模式从而提高了译码速度,因此在大动态信噪比环境下该算法具有优越的性能。     

一种矩形编码与行程编码相结合的图像压缩方法

论述的矩形编码与行程编码相结合的图像压缩方法,是针对矩形编码中处理较小区域时空间浪费以及失真和行程编码中最大行程编码受限制等缺点而提出的。该方法处理复杂图像比矩形编码好,在图像不复杂时比行程编码好,具有很好的压缩效率。     

V.32协议下调制解调方案的实现

介绍了ITU-TV.32制定的9600bps高速modem标准,以及在该标准下采用32QAM网格编码调制的编译码方式进行调制解调的方案,并对方案中编译码模块的实现进行了详细分析。