多路方体聚集完全立方体计算算法

数据立方体的预计算对于提高联机分析处理性能至关重要。在借鉴多路数组聚集完全立方体计算算法的基础上,提出了利用数据结果集驱动的完全立方体计算算法。算法在扫描完成一个方体的同时,完成方体沿各个维攀升形成的多个新方体的聚集值的计算,从而完成多路方体聚集。该算法支持大数据量立方体的计算。应用结果表明,算法可行,且易于实现。     

多路数组聚集优化算法

针对MOLAP服务器中多维数据的聚集操作，在传统的多路数组聚集算法的基础上，提出一种寻找最优聚集次序的计算方法。在实示计算中，应用这种方法可以方便、快捷地对以数据立方体形式存储于MOLAP服务器中的多维数据进行聚集操作。     

基于混合存储结构的数据立方体生成算法

通过把数据立方体中的维分为划分维和非划分维，视图中的数据被分成两部分，分别存储在关系和多维数组中。针对这种混合存储结构，我们设计了一个数据立方体生成算法，它结合了流水线聚集方法和多维数组聚集方法的优点，大大减少了流水线的条数和所需要的存储空间，加快了计算速度。并用一个实际数据集进行了实验，结果表明该算法适用于计算高维的数据立方体。     

气象数据检索区域查询优化及并行算法设计

随着数值天气预报水平和分辨率的不断提高,气象科学数据呈海量增长趋势,导致气象资料归档与检索系统(MARS)处理大数据服务请求的效率较低。针对此情况,开展了基于MARS检索区域查询方式的优化研究,结合数学补集思想与多路数组聚集计算原理,提出了一种高效的补集转换区域查询方法(CTRQ),从而实现大范围区域查询下的“大数据”计算转换为“小数据”计算。其基本思路是通过超立方体聚集维尺寸与区域查询服务请求的属性值集合大小比较,执行“过半求补”的索引计算操作,利用二次求补实现气象场数据物理存储信息的检索。实验表明,相比原始的索引计算方法,该方法能够有效降低数据检索时元数据索引计算的系统开销。在此基础上,结合并行处理方法,设计并实现了CTRQ并行算法,相比其改进后的串行算法最大获得1.9倍加速比,进一步提高了MARS的检索效率。     

缓存敏感的封闭冰山立方体计算

数据立方体计算通常会产生大量的输出结果,冰山立方体和封闭立方体是解决这个问题的比较流行的两种策略,二者可以结合使用.鉴于封闭冰山立方体(closed iceberg cube)的重要性和实用性,如何高效地计算封闭冰山立方体是一个值得研究的问题.提出一种缓存敏感(cache-conscious)的计算封闭冰山立方体的方法,在自底向上对数据进行聚集的同时,寻找覆盖聚集单元的封闭单元,将其输出,使用两种策略进行剪枝,去掉不必要的递归,同时使用Apriori剪枝技术,支持冰山立方体(iceberg cube)的计算.为了减少与内存相关的延迟,快速得到聚集结果,对多个维进行预排序,并将软件预取技术引入到数据扫描中.在模拟数据和真实数据上进行了详细而全面的实验研究,结果表明,封闭冰山立方体的计算方法是快速、有效的.     

多特征方计算优化策略

多特征方用于计算复杂的数据挖掘查询，在2n个粒度进行多个依赖的复杂聚集计算。现有的立方体粒度计算技术可以有效计算分布和代数多特征方，针对整体多特征方提出了优化策略：先将立方体水平分块，然后采用冰山查询技术动态选择数据以及局部分布聚集特性优化计算过程。该优化策略既减少了计算复杂度又节省了聚集计算时间，实验结果表明该计算策略比基本的解决方法性能提高一倍以上。     

虚拟资产用户操作数据流立方体存储结构的研究

随着电子商务的深入发展,基于虚拟资产用户操作数据流立方体的构建技术成为了当前研究热点。文章针对虚拟资产用户操作数据流的特点,首先对数据流进行分组操作,并从中抽取属性集和操作序列集,然后构建流立方体模型。在流立方体构建中采用多路聚集算法,提高聚集性能。在真实数据集上进行实验测试表明,该模型能有效提高异常操作追溯性能。     

一种多特征方查询的有效算法

多特征方用于计算复杂数据挖掘查询,具有多粒度上多个依赖聚集计算的典型特点.现有的立方体粒度计算技术可以有效计算分布和代数多特征方,整体多特征方还没有提出有效的计算方法.在分析整体多特征方查询特点的基础上提出了一种优化算法:先将立方体分块,再采用冰山查询技术动态选择数据,最后采用查询结果重用技术.实验表明,该优化算法能有效提高整体多特征方查询的性能.     

封闭数据立方体技术研究

数据立方体中有很多冗余信息,去除这些冗余信息不但可以节约存储空间,还可以加快计算速度.数据立方体中的元组可以划分为封闭元组和非封闭元组.对任何一个非封闭元组,一定存在一个封闭元组,它们都是从基本表的同一组元组中经过聚集运算得到的,因而具有相同的聚集函数值.去掉数据立方体中所有的非封闭元组就产生了一个封闭数据立方体.提出了封闭数据立方体的生成算法、查询算法和增量维护算法,并使用合成数据和实际数据做了一些实验.实验结果表明,封闭数据立方体技术是有效的.     

面向数字城市多源数据的空间数据立方体数据组织研究*

定义了面向数字城市多源数据的空间数据立方体地理空间维、专题维和时间维分别包含的数据种类和内容;设计了它们的维和维层次数据结构;表述了地理空间维、专题维和时间维在概念层次上和物理层次上构成空间数据立方体的方法;确定了地理空间维、专题维和时间维数据的多维数组组织方法,以及多维数据的数据文件和虚拟内存存储策略;表达了多维数组中记录间的关联运算和多维数组的压缩方法。     

基于移动Agent中间件的WSN数据聚集算法

数据聚集技术是无线传感器网络的一项重要的支撑技术.在数据聚集技术基础上,提出基于移动代理中间件的无线传感器网络数据聚集方案.以层簇式拓扑结构,分析了节点能量的消耗,给出实现数据查询任务的派发算法和数据查询结果的收集算法.仿真实验证明该方案能有效的节省网络能量耗损,延长网络生存周期.     

Communication and memory optimal parallel data cube construction

Data cube construction is a commonly used operation in data warehouses. Because of the volume of data that is stored and analyzed in a data warehouse and the amount of computation involved in data cube construction, it is natural to consider parallel machines for this operation. This paper addresses a number of algorithmic issues in parallel data cube construction. First, we present an aggregation tree for sequential (and parallel) data cube construction, which has minimally bounded memory requirements. An aggregation tree is parameterized by the ordering of dimensions. We present a parallel algorithm based upon the aggregation tree. We analyze the interprocessor communication volume and construct a closed form expression for it. We prove that the same ordering of the dimensions in the aggregation tree minimizes both the computational and communication requirements. We also describe a method for partitioning the initial array and prove that it minimizes the communication volume. Finally, in the cases when memory may be a bottleneck, we describe how tiling can help scale sequential and parallel data cube construction. Experimental results from implementation of our algorithms on a cluster of workstations show the effectiveness of our algorithms and validate our theoretical results.     

智能电网容错数据聚合方案

新一代智能电网的出现,极大地提升了电网的安全性与可靠性,这依赖于智能电表每15分钟发送一次数据,但是这可能会暴露用户的隐私,同时需要消耗很大的计算代价.于是数据聚合技术被引入,大多数现有聚合方案存在耗时大且当电表故障时系统无法正常运行等问题.针对上述问题,本文提出了一个智能电网中高效的支持错误容忍的数据聚合方案,具体来...     

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。     

无线传感器网络网内数据融合技术研究

网内数据融合技术可以消除无线传感器网络中的冗余信息，提高数据的精确度，并延长网络的生命周期。本文通过分析现有网内数据融合技术的不足，提出一种新型网内数据融合技术，它通过利用一种新型的融合定时机制，对节点的融合定时时间进行合理配置，取得网络能量利用效率和数据精确性之间的良好平衡。     

基于嵌入二维数组的迁移聚集树的数据流突变检测算法

数据流突变检测技术由于在金融、医疗服务、电信等重要领域有广泛应用而受到国内外科研学者更多关注。为了能够检测正数据流、负数据流以及正负交错数据流的突变,提出了嵌入二维数组的迁移聚集树的数据流突变检测算法。该算法能够检测单调聚集函数和非单调聚集函数的突变,能够在较少时间内完成数据流突变检测的任务。实验证明本算法有良好的性能和效率,更适合检测突变的数据流。     

0LAP中多维数组的一种改进压缩算法

基于多维数组MOLAP技术,针对目前使用较多的多维数组线性化压缩存储方法在处理维内部层次的聚集查询方面效率比较低的问题,本文提出了一种新的压缩存储方法,即采用二进制编码存储维方法,能有效提高存储和查询效率。     

MEMS压力传感器阵列数据高速传输总线设计

针对智能化网络化传感器与蒙皮式传感器阵列交叉和发展的趋势．将柔性封装技术与智能结构相结合．针对飞行器风洞实验过程中测试数据复杂并且无法进行实际飞行实验的现状．设计一种新型的MEMS压力传感器阵列数据高速传输总线。并对其进行加工、校准,最后将其应用在实际的气动参数测试系统中。