一种高度浓缩和语义保持的数据立方

Quotient Cube和QC-tree试图在浓缩一个数据立方尺寸的同时,保持该数据立方蕴涵的语义,但是,前者没有语义关系的存储,后者存储的语义关系是晦涩模糊的.为此提出了下钻立方结构,首次从语义角度考虑数据立方存储,存储的不是类的内容,而是类之间的直接下钻关系.下钻立方不仅能够极大地减小数据立方的存储尺寸,而且可以清晰地表达原数据立方蕴涵的下钻语义.此外,下钻立方具有较高的查询响应性能,这一点在范围查询中表现得尤其显著.实验和分析表明,下钻立方在存储尺寸和查询响应方面明显优于QC-tree,适于用来组织和存储数据立方.     

一种快速生成最小浓缩数据立方的算法

语义OLAP技术是近来学者研究的热点之一,浓缩数据立方就是其中一种.本文设计了一个用于快速生成最小浓缩数据立方的算法SQCube.算法分两个阶段：首先利用BottomUpBST算法生成一个非最小的浓缩数据立方,然后对所得到的非最小浓缩数据立方进行后处理,把其中的所有纯BST和隐BST压缩为一条BST,从而生成一个最小浓缩数据立方.实验表明SQCube算法明显优于以往提出的同类算法MinCube.     

MapReduce环境下的并行Dwarf立方构建

针对数据密集型应用,提出了一种基于MapReduce框架的并行Dwarf数据立方构建算法.算法将传统Dwarf立方等价分割为多个独立的子Dwarf立方,采用MapReduce架构,实现了Dwarf立方的并行构建、查询和更新.实验证明,并行Dwarf算法一方面结合了MapReduce框架的并行性和高可扩展性,另一方面结合...     

SpringSide交叉报表构造模型研究

分析SpringSide构造报表的方法,给出一种由原始查询数据构造交叉报表的算法;为了加快软件开发效率,基于软件重用思想,给出两个通用交叉报表构造模型,并给出相应算法。最后实例说明利用模型构造交叉报表方便、高效。     

浓缩数据立方中约束立方梯度的挖掘

约束立方梯度挖掘是一项重要的挖掘任务,其主要目的是从数据立方中挖掘出满足梯度约束的梯度-探测元组对.然而,现有的研究都是基于一般数据立方的.研究了浓缩数据立方中约束数据立方梯度的挖掘问题.通过扩展LiveSet驱动算法,提出了一个eLiveSet算法.测试表明,该算法在立方梯度挖掘效率上比现有算法要高.     

无回溯并行多路径搜索测试向量生成算法

无回溯并行多路径搜索算法（NBMP）在生成测试向量过程中生成基于原始输入端奇异立方和与原始输出端关联的传输立方,并利用生成的奇异立方和传输立方生成测试向量。算法在实现过程采用无须回溯和多路径探索策略。通过分析和实验结果证明算法时间复杂度近似为线性。算法对ISCAS85基准电路中规模最大的8个电路进行实验,将实验结果与传统算法进行比较,结果表明NBMP算法故障覆盖率优于传统算法。     

基于PCA的哈希图像检索算法

图像哈希算法的步骤大致分为投影和量化两个阶段,为提高哈希编码的性能,分别对这两个阶段进行研究。在投影阶段,通过主成分分析算法将数据投影到新的特征子空间中,以降低原始特征之间的冗余性;在量化阶段,为减少量化所带来的损失,提出一种单双比特结合的量化方法;利用得到的哈希编码进行图像检索。在两个常用的图像数据集上的实验结果表明,提出的算法较现有的主流图像哈希算法在多个评价指标下均有所提高。     

两阶段联合聚类协同过滤算法

提出一种两阶段评分预测方法.该方法基于一种新的联合聚类算法(BlockClust)和加权非负矩阵分解算法.首先对原始矩阵中的评分模式进行用户和物品两个维度的联合聚类,然后在这些类别的内部通过加权非负矩阵分解方法进行未知评分预测.这种方法的优势在于,首阶段聚类后的矩阵规模远远小于原始评分矩阵,并且同一类别内部的评分具有相似的模式,这样,在大幅度降低预测阶段计算量的同时又提高了非负矩阵分解算法在面对稀疏矩阵预测上的准确度.进一步给出了推荐系统的3种更新模式下如何高效更新预测模型的增量学习方法.在MovieLens数据集上比较了新算法及其他7种相关方法的性能,从而验证了该方法的有效性及其在大型实时推荐系统中的应用价值.     

两阶段联合聚类协同过滤算法

提出一种两阶段评分预测方法.该方法基于一种新的联合聚类算法(BlockClust)和加权非负矩阵分解算 法.首先对原始矩阵中的评分模式进行用户和物品两个维度的联合聚类,然后在这些类别的内部通过加权非负矩阵 分解方法进行未知评分预测.这种方法的优势在于,首阶段聚类后的矩阵规模远远小于原始评分矩阵,并且同一类别 内部的评分具有相似的模式,这样,在大幅度降低预测阶段计算量的同时又提高了非负矩阵分解算法在面对稀疏矩 阵预测上的准确度.进一步给出了推荐系统的3 种更新模式下如何高效更新预测模型的增量学习方法.在MovieLens数据集上比较了新算法及其他7种相关方法的性能,从而验证了该方法的有效性及其在大型实时推荐系 统中的应用价值.     

基于全局与局部特征对比的点云自监督学习EI北大核心CSCD

传统的有监督学习依赖大量的标签数据,而收集标签数据通常是昂贵的.因此,提出一种通过对比点云的全局和局部特征的自监督学习算法,包括数据构造和对比学习2个阶段.在数据构造阶段,通过不同的局部视角和局部子结构生成全局物体的局部区域;在对比学习阶段,将全局物体和局部区域分别依次输入编码器、投影层和预测器得到全局和局部特征,使用基于对比学习的目标函数增强全局和局部特征相似.通过在2个公开数据集ModelNet40和ShapeNet上与Info3D等自监督学习算法对比,实验结果表明,所提算法在无监督点云分类和小样本学习任务上的分类准确率得到显著提升,并且在训练数据匮乏时比现有算法具有更强的鲁棒性.     

基于QC树的数据仓库增量维护和查询算法

为使通过QC树对数据仓库进行常规的增删改操作和查询操作变得更加方便和高效,提出了QC树增量维护和有效查询的详细实现算法。该实现算法以QC树的结构为基础,结合深度优先算法和等价类的覆盖关系对QC树进行维护和查询。实现算法通过只观察等价类的上界值和考虑所有可能出现的类状态的变化情况,以确保算法的高效性和正确性。与传统的数据立方体维护和查询方法比较,新方法只需要观察等价类上界值的变化情况,较大地减少了需要考虑的数据量,有效地解决了数据量过大导致维护查询效率太低的问题。理论分析与实验结果证明了该实现算法的有效性。     

基于侏儒立方体的保持语义的数据立方体结构*

在侏儒立方体研究的基础上,提出了一种新的能够保持语义的立方体结构。这种结构改变了侏儒立方体对聚集数据的存储方式,在保持基本立方体上卷、下钻语义的前提下,尽量地去除前缀冗余、后缀冗余,节约存储空间,保证立方体清晰的结构,并且拥有比侏儒立方体更高的存储效率和查询响应速度,对点查询和范围查询能够快速地返回结果,对大数据量情况下的稀疏立方体具有良好的支持。     

基于Map/Reduce的外壳片段立方体并行计算方法

针对高维、维度分层的大数据集,提出一种基于Map/Reduce框架的并行外壳片段立方体构建算法。算法采用Map/Reduce框架,实现外壳片段立方体的并行构建与查询。构建算法在Map过程中,计算出各个数据分块所有可能的数据单元或层次维编码前缀;在Reduce过程中,聚合计算得到最终的外壳片段和度量索引表。实验证明,并行外壳片段立方体算法一方面结合了Map/Reduce框架的并行性和高扩展性,另一方面结合了外壳片段立方体的压缩策略和倒排索引机制,能够有效避免高维数据物化时数据量的爆炸式增长,提供快速构建和查询操作。     

集合上封闭立方体的计算

随着原始数据记录数的增多,数据立方体在存储空间和计算时间上的消耗都越来越大,封闭立方体是减少数据立方体的存储空间的有效手段。提出一种新的封闭数据立方体的生成算法,针对大量的原始数据集,通过预处理,采用类似BUC算法的计算顺序自上而下递归输出封闭单元,使用实际数据做了相关研究的实验,实验结果表明该算法能有效提高生成速度。     

基于混合存储结构的数据立方体生成算法

通过把数据立方体中的维分为划分维和非划分维,视图中的数据被分成两部分,分别存储在关系和多维数组中。针对这种混合存储结构,我们设计了一个数据立方体生成算法,它结合了流水线聚集方法和多维数组聚集方法的优点,大大减少了流水线的条数和所需要的存储空间,加快了计算速度。并用一个实际数据集进行了实验,结果表明该算法适用于计算高维的数据立方体。     

Communication and memory optimal parallel data cube construction

Data cube construction is a commonly used operation in data warehouses. Because of the volume of data that is stored and analyzed in a data warehouse and the amount of computation involved in data cube construction, it is natural to consider parallel machines for this operation. This paper addresses a number of algorithmic issues in parallel data cube construction. First, we present an aggregation tree for sequential (and parallel) data cube construction, which has minimally bounded memory requirements. An aggregation tree is parameterized by the ordering of dimensions. We present a parallel algorithm based upon the aggregation tree. We analyze the interprocessor communication volume and construct a closed form expression for it. We prove that the same ordering of the dimensions in the aggregation tree minimizes both the computational and communication requirements. We also describe a method for partitioning the initial array and prove that it minimizes the communication volume. Finally, in the cases when memory may be a bottleneck, we describe how tiling can help scale sequential and parallel data cube construction. Experimental results from implementation of our algorithms on a cluster of workstations show the effectiveness of our algorithms and validate our theoretical results.     

一种基于Dwarf的快速有效增量更新算法

数据立方计算是代价非常大的操作,并且被广泛研究。受空问的限制,存储一个完全实例化的数据立方是不可行的。最近提出的一种语义压缩数据立方一Dwarf,通过消除前缀冗余和后缀冗余把一个完全实例化的数据立方压缩存储到一个很小的空问。然而,当数据源发生变化时,它的更新过程是很复杂的。本文通过研究Dwarf在更新过程中汇总结点的变化特性,提出了一种基于Dwarf的新的增量更新算法,既能完全实例化数据立方又不需要重新计算,大大提高了数据立方的更新效率。实验进一步证明了该算法的效率和有效性,尤其适合数据仓库中的高维数据集。     

基于打包索引纹理的大规模数据体绘制算法

针对大规模数据体绘制效率低下的问题,提出一种算法：对体数据进行纹理分块打包,移除空数据块,并创建数据块的索引数据,绘制时通过索引访问打包后的纹理实现大规模数据完全载入显存,同时在索引中标记空数据及高密度数据块的位置,绘制前生成其有效的立方体数据表达,结合早期光线终止与空域跳过等加速技术,有效地实现了大规模的体数据的实时绘制,同时保证了结果图像的质量。