数据仓库系统中一种改进的维层次聚集Cube存储结构

提出利用Cube中的维层次（dimension hierarchy）聚集技术来创建高性能的维层次聚集Cube（dimension hierarchy aggregate cube,DHAC）．充分利用DHAC已保存的维层次信息,对Cube中多维数据的查询和更新效率进行了优化,并且支持Cube的上探、下钻等语义操作．在DHAC中进行数据插入和删除等数据更新时,由下向上用更新前后的差值对受到更新结点影响的所有祖先结点进行增量更新．实现了在插入新维或维层次时不需要重新构建聚集Cube就可以实现Cube的模式更新．对维层次聚集Cube与传统Cube进行了算法性能分析和比较,理论分析和实验结果都表明,所提出的DHAC性能最佳．     

一种基于维层次聚集树的Cube增量更新算法

提出利用Cube中的维层次聚集树（dimension hierarchy aggregate tree,简称DHA-Tree）来对聚集Cube进行增量更新维护,在维层次聚集Cube中进行数据插入和删除等数据更新时,充分利用维层次聚集树中的维层次前缀,由下向上用更新前后的差值对受到更新结点影响的所有祖先结点进行增量更新.在插入新维数据时,在不需要重新构建聚集Cube就可以对聚集Cube进行增量更新,从而减少了Cube的更新时间.对基于维层次聚集树的聚集Cube与传统Cube进行了算法性能分析和比较,结果表明本文所提出的聚集Cube的增量更新算法性能最佳.     

HDC结构的数据更新算法实现

数据更新是数据仓库上支持联机分析处理的一种重要操作。增量更新是一种有效的数据更新方法。实现了二维层次式数据立方体(Cube)存储结构HDC的建立以及基于此结构的数据增量更新算法。     

语义Cube的层次聚类方法

在DataCube语义特性及模式中维的层次性基础上提出了多维数据之间的等价关系≡HCov,对DataCube进行层次聚类·该方法的优点在于用等价类的方法保存了所有聚集记录,同时定义了等价类之间的关系,以保存聚集记录之间的层次信息·理论分析和实验证明,该方法不但节省了存储空间,而且利用聚类信息及层次信息,可高效的进行各种OLAP查询,以及支持多维数据上的上钻下钻、旋转等Cube语义操作·同时,为OLAP查询导航、OLAP查询行为分析的实现提供了可能·     

DHMC:一种有效的高维Cube并行分布式存储结构

在数据仓库系统中，数据立方体（Cube）及其预聚集处理在OLAP起到非常重要的作用．对于一d个d维的dataCube可以生成2d个聚集Cuboids和d∏i=1（｜Di｜＋1）个聚集数据单元，但对于一个高维Cube，要创建这些所有聚集Cuboids是不现实的．提出通过共享分段立方体Mini．Cube的高维Cube并行分布式存储结构（DHMC），将高维Cube划分成若干个低维共享分段立方体Mini-Cube，利用并行分布式处理技术来创建这些分割的分段共享Mini—Cube及其聚集Cuboids，来实现高维Cube的并行创建和增量更新维护，从而解决高维OLAP聚集海量数据的存储与查询问题．理论分析与实验结果均表明DHMC性能最佳．     

一种保持语义的压缩数据立方体结构

通常数据立方体体积较大,语义关系复杂,完整的语义立方体很难实现。基于商立方体,该文提出了语义数据立方体结构(SDC),将单元格中的单元以其上界替代,并保存下界,简化了单元格的表示,保持单元格的全部语义,并可以实现单元的上卷和下钻操作。把语义关系应用到数据立方体的查询、增量更新中,使查询响应时间及更新代价大大降低。实验结果表明,SDC是有效的。     

基于增量协同过滤和潜在语义分析的混合推荐算法

为了解决传统新闻推荐系统定期更新推荐算法不能根据用户喜好的变化进而动态地调整推荐列表的问题,提出了一种混合推荐算法(IULSACF)。该算法包含了2个关键部分:基于项目的增量更新协同过滤算法和基于关键词频率的潜在语义分析算法。该混合推荐算法在基于项目的增量更新协同过滤模块中,通过对项目相似度列表增量更新来动态地调整推荐列表,并结合潜在语义分析算法来确保所推荐文章的相关性。实验结果表明,所提出的IULSACF算法在各项评价指标上均优于传统的推荐方法。     

一种基于Dwarf的快速有效增量更新算法

数据立方计算是代价非常大的操作,并且被广泛研究。受空问的限制,存储一个完全实例化的数据立方是不可行的。最近提出的一种语义压缩数据立方一Dwarf,通过消除前缀冗余和后缀冗余把一个完全实例化的数据立方压缩存储到一个很小的空问。然而,当数据源发生变化时,它的更新过程是很复杂的。本文通过研究Dwarf在更新过程中汇总结点的变化特性,提出了一种基于Dwarf的新的增量更新算法,既能完全实例化数据立方又不需要重新计算,大大提高了数据立方的更新效率。实验进一步证明了该算法的效率和有效性,尤其适合数据仓库中的高维数据集。     

基于Spark的近实时增量数据更新方法

增量数据更新是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键.随着大数据技术的发展,传统的增量更新算法已经无法适应时代的潮流.为此,本文基于Spark等成熟的大数据技术提出了一种近实时增量数据更新方法.本文采用OGG+kafka进行增量数据捕获,采用Spark对增量数据进行实时分析,...     

数据增量探测技术在电子地图更新中的应用

文章介绍了地图数据更新的目的和方法,以及数据增量探测与数据更新技术的关系.在AutoCAD 2007开发环境下,对地图数据不同版本间的增量进行探测和记录,实现地图数据快速准确更新.     

基于侏儒立方体的保持语义的数据立方体结构*

在侏儒立方体研究的基础上,提出了一种新的能够保持语义的立方体结构。这种结构改变了侏儒立方体对聚集数据的存储方式,在保持基本立方体上卷、下钻语义的前提下,尽量地去除前缀冗余、后缀冗余,节约存储空间,保证立方体清晰的结构,并且拥有比侏儒立方体更高的存储效率和查询响应速度,对点查询和范围查询能够快速地返回结果,对大数据量情况下的稀疏立方体具有良好的支持。     

Incremental maintenance of quotient cube based on galois lattice

Data cube computation is a well-known expensive operation and has been studied extensively. It is often not feasible to compute a complete data cube due to the huge storage requirement. Recently proposed quotient cube addressed this fundamental issue through a partitioning method that groups cube cells into equivalent partitions. The effectiveness and efficiency of the quotient cube for cube compression and computation have been proved. However, as changes are made to the data sources, to maintain such a quotient cube is non-trivial since the equivalent classes in it must be split or merged. In this paper, incremental algorithms are designed to update existing quotient cube efficiently based on Galois lattice. Performance study shows that these algorithms are efficient and scalable for large databases.     

基于在线分裂合并EM算法的高斯混合模型分类方法*

为了解决传统高斯混合模型中期望值EM处理必须具备足够数量的样本才能开始训练的问题,提出了一种新的高斯混合模型在线增量训练算法。本算法在Ueda等人提出的Split-and-Merge EM方法基础上对分裂合并准则的计算进行了改进,能够有效避免陷入局部极值并减少奇异值出现的情况;通过引入时间序列参数提出了增量EM训练方法,能够实现增量式的期望最大化训练,从而能够逐样本在线更新GMM模型参数。对合成数据和实际语音识别应用的实验结果表明,本算法具有较好的运算效率和分类准确性。     

用户兴趣驱动的冰山数据立方体构建及更新方法研究

为了解决数据立方体完全物化占用过多存储空间的问题,以用户兴趣度为依据,从用户查询的实际情况出发,首次提出在矩阵基础之上进行冰山立方体构建的方法MICA,并在此基础上提出冰山立方体的增量式更新方法ICTU,以解决当用户兴趣发生改变时,需要物化的方体发生改变的问题.实验表明,MICC能够大大节省存储空间,有效支持用户查询,且利用增量方法ICIU能够使构建冰山立方体的效率大大提高.     

基于QC树的数据仓库增量维护和查询算法

为使通过QC树对数据仓库进行常规的增删改操作和查询操作变得更加方便和高效,提出了QC树增量维护和有效查询的详细实现算法。该实现算法以QC树的结构为基础,结合深度优先算法和等价类的覆盖关系对QC树进行维护和查询。实现算法通过只观察等价类的上界值和考虑所有可能出现的类状态的变化情况,以确保算法的高效性和正确性。与传统的数据立方体维护和查询方法比较,新方法只需要观察等价类上界值的变化情况,较大地减少了需要考虑的数据量,有效地解决了数据量过大导致维护查询效率太低的问题。理论分析与实验结果证明了该实现算法的有效性。     

基于演进向量量化聚类的增量模糊关联分类方法

为了提高动态数据集上模糊关联分类器（FAC）的建模效率,提出了一种基于演进向量量化（eVQ）聚类的增量模糊关联分类方法。首先,采用eVQ聚类算法增量更新数量属性上的高斯隶属度函数参数;然后,扩展早剪枝更新（UWEP）算法,使之适用于增量挖掘模糊频繁项;最后,以模糊相关度（FCORR）和分类规则前件长度为度量方式裁剪并更新模糊关联分类规则库。在4个UCI标准数据集上的实验结果表明,与批量模糊关联分类建模方法相比,所提方法能够在保证分类精度和解释性的前提下,减少模糊关联分类器的训练时间;基于eVQ的高斯隶属度函数的增量更新有助于提高动态数据集上模糊关联分类器的分类精度。     

GSFC--基于图结构的Free Cube存储方法

free cube利用发掘基本关系表维值之间的蕴含规则,去除data cube中内在冗余,有效减小data cube体积．但是还存在一些值得进一步研究的问题．首先,直接地表示free cube仍然不够精简从而浪费了存储空间．其次,只提到了查询的基本思想,没有给出具体的查询技术．针对这些问题,提出了基于图结构的存储方法GSFC,利用前缀压缩进一步减小free cube体积．同时,该方法结合了存储和索引结构,有效解决free cube的查询问题．最后给出了计算和查询算法,并利用实验来证明算法的有效性．