一种通用聚合算法在统计工作中的应用研究

目前政府统计部门正在积极建设统计数据库，统计数据库具有典型的多维特征。同时，统计业务人员经常要对各种级别的统计数据尤其是汇总级的数据进行所谓的即席查询（Ad—hoc query）。为了实现这一点，大多数统计查询和分析系统依赖于关系数据库平台本身提供的OLAP功能和接口，造成应用系统与数据库系统紧耦合反而降低了应用系统的可移植性。文中根据统计数据库多维特征和OLAP聚合操作的原理提出一种跨数据库系统平台的通用聚合算法，并成功应用于统计工作中，有效地解决了上述问题。     

OLAP查询多维数据的新模型

针对目前现有的OLAP查询机制，讨论了一种新的模型——统计树。这种模型可以应用到OLAP中，并能够有效提高OLAP查询多维数据的速度。     

基于XML的松耦合OLAP系统的研究

文章给出了松耦合OLAP应用系统的新概念。它是一个集合了XML、SOAP等技术的新型OLAP应用系统。可在交叉平台以及Internet语言独立的环境中完成客户对OLAP服务器立方体的创建和多维数据查询的操作。文中对此松耦合OLAP系统做了详尽的描述,并给出了实现房地产分析系统中数据集成管理的初步方案。     

OLAP技术在数据分析中的应用

首先介绍了OLAP的概念、功能特征,然后通过实例对多维数据库的概念、层次关系和多维数据分析的主要操作进行了详细描述。最后,以ORACLE公司的Hyperion产品作为多维数据库分析的平台,通过对一大型能源集团公司的财务预算系统中的预算数据进行分析,介绍了OLAP技术方法的实际应用,总结了OLAP技术在数据分析工作中的优势。     

种基于OLAP的Cube存储结构

Cube计算对OLAP有着极其重要的作用。本文根据数据仓库模式的前端用户接口之一OLAP,设计了一个多维的超压缩立方体结构HierarchicalCompressCube(CHCube)HH,并详细讨论了它的创建、增量更新及快速查询算法。在创建CHCube结构时,充分利用了元数据信息,因而在OLAP查询及更新等操作上具有很好的时空有效性。在实际的OLAP应用系统中,使得对多维数据的描述更加灵活,对多维数据的操作更加高效。     

基于桥梁健康监测的数据库系统设计研究

OLAP是数据仓库的一个最典型的应用,它能够展现多维数据视图。同时,还提供了较直观的多维分析操作,使得能够多角度、多层次地观察数据仓库中的数据。介绍了OLAP技术的特征和概念,分析研究了运用ADO MD建立OLAP数据仓库,运用JavaBean构建数据库远程管理系统的关键技术,并以某大型斜拉桥的长期健康监测数据系统为研究背景,给出了桥梁健康监测数据库系统的设计方案。     

基于桥梁健康监测的数据库系统设计研究

OLAP是数据仓库的一个最典型的应用，它能够展现多维数据视图。同时，还提供了较直观的多维分析操作，使得能够多角度、多层次地观察数据仓库中的数据。介绍了OLAP技术的特征和概念，分析研究了运用ADOMD建立OLAP数据仓库，运用Java Bean构建数据库远程管理系统的关键技术，并以某大型斜拉桥的长期健康监测数据系统为研究背景，给出了桥梁健康监测数据库系统的设计方案。     

基于物理操作级模型的查询执行时间预测方法

查询执行时间预测(Query Performance Prediction, QPP)是数据库系统中一个重要的研究问题。当数据库系统中存在并发执行的事务时,现有的QPP方法无法在不改变数据库查询性能的前提下建立准确的QPP模型。为此,提出了一种基于物理操作的查询执行时间预测新方法,该方法以查询的物理操作为单位建立单元预测模型,根据查询计划将单元预测模型组合为完整的QPP模型,把能够刻画数据库系统并发状态的统计信息纳入模型的输入特征。所提方法只须使用DBMS提供的基本手段即可获取构建模型所需的数据库统计信息,无须改变DBMS,也不会影响数据库系统上原有工作负载的执行。实验结果表明,所提方法无论在OLTP还是OLAP应用中,在不同的查询计划和并发度下的预测准确性均高于其他对比方法。     

分布式聚集函数支持的内存OLAP并行查询处理技术

根据OLAP查询的特点和内存数据库的性能特征提出了由多个内存数据库组成的并行OLAP查询处理系统,将OLAP应用中的多维聚集查询分布到各个计算节点并行进行聚集计算,并将聚集计算的结果进行合并输出.与其他并行处理方法相比,该算法充分利用OLAP DB结构中维表远小于事实表的特性,根据数据库中事实表的数据量和节点的数据处理能力进行水平数据库分片,并根据聚集函数的可分布计算特性提高查询处理的并行度,延迟并行查询处理中的合并过程,充分利用节点的并行处理能力,减少并行查询处理过程中的数据通信量,提高系统并行查询处理性能.该算法易于实现,具有较好的可扩展性和性能,适用于企业级海量数据处理领域的需求.     

OLAP性能测试方法研究与实现

随着商业智能市场的逐步扩大,联机分析处理(OLAP)系统的使用质量评估已经成为数据库应用的研究热点.作为效用特性的OLAP系统性能评估需要一个性能基准.以OLAP委员会推出的APB-1性能基准为基础,首先设计了面向多维数据库的立方体(Cube)模型以及相应的多维表达式(MDX)查询模板,在Cube模型设计的过程中修改了APB-1基准ROLAP星型模型的不足之处;接着在测试数据一致和测试参数一致的前提下,通过对设计的MOLAP模型查询结果与ROLAP模型查询结果进行对比分析,证明了MOLAP模型及MDX查询模板设计的正确性;然后给出了OLAP性能测试流程,描述了支持ROLAP和MOLAP性能测试的工具框架及其主要模块.最后使用该测试框架在商业数据库管理系统上对ROLAP和MOLAP进行并发查询实践,验证了框架的有效性.提出的方法及技术实现为未来OLAP产品性能的测试和评价提供多维数据模型、业务模型和工具的支持.     

Modelling and Manipulating Multidimensional Data in Semistructured Databases

Multidimensional information is pervasive in many computer applications including time series, spatial information, data warehousing, and visual data. While semistructured data or XML is becoming more and more popular for information integration and exchange, not much research work has been done in the design and implementation of semistructured database system to manage multidimensional information efficiently. In this paper, dimension operators have been defined based on a multidimensional logic which we call ML(). It can be used in applications such as multidimensional spreadsheets and multidimensional databases usually found in decision suport systems and data warehouses. Finally, a multidimensional XML database system has been prototyped and described in detail. Technologies such as XSL are used to transform or visualise data from different dimensions.     

一种并行处理Skyline查询的有效方法

Skyline查询是近年来数据库领域的一个研究重点和热点, 这主要是因为Skyline查询在许多领域有着广泛的应用. 现有的工作大都集中于单处理机环境, 然而, 由于Skyline查询是CPU敏感的, 因此,在实际应用中, 现有的方法具有很大的局限性. 基于此, 提出一种有效降低处理Skyline查询时间开销的并行算法PAPSQ (Parallel algorithm for processing skyline queries). 算法有机结合多维数据对象的自身特性和通用多处理机系统的实施优点, 以Skyline查询搜索偏序格为底层结构, 利用多维数据对象的同胚评估值和偏序格加权技术来有效提高并行处理Skyline查询的效率. 实验评估表明, PAPSQ算法具有有效性和实用性.     

基于统计学习的人脸定位评估函数的构建

Gabor核函数的幅值反映了图像局部的能量,且在真实边缘附近具有良好的光滑性,适宜于匹配识别;AdaBoost算法用于Gabor特征集中选择最优特征.每个特征对应一个弱非类器,集合所有弱分类器组成一个最终分类器.构建了基于上述特征的人脸定位评估函数.实验表明,其对主动外观模型和主动形状模型的人脸定位有很好的评估功能.     

MOLAP带层次的维聚集实现

随着数据库技术的广泛应用和发展,产生了数据仓库、联机分析处理等一系列新技术,并且在实践中得以逐步应用.对于不同类型的联机分析处理技术的研究应用,以关系型的居多,而多维型的研究应用相对较少.通过对多维联机分析处理进行的研究可知,维聚集的实现是一个重点,而带层次的维聚集的实现是一个难点.探讨了多维联机分析处理带层次的维聚集的实现,在进行了分析的基础上,给出了类的设计,之后根据算法用代码予以实现,通过实例进行了验证.     

无线传感器网络的数据聚合技术

介绍了无线传感器网络中的重要技术--数据聚合.首先介绍数据聚合和路由协议的关系,数据类型及数据采集的算法;接着以directed diffusion和Greedy Aggregation为例重点介绍了数据传播协议;另外从数据库角度介绍数据融合的实施,综合讨论了有损和无损的算法的特性,最后引入聚合质量的评价.     

基于无指导学习策略的无词表条件下的汉语自动分词

探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法，以期对研制开放环境下健壮的分词系统有所裨益,全部分词知识源自从生语料库中自动获得的汉字Bigram．在字间互信息和t-测试差的基础上，提出了一种将两者线性叠加的新的统计量md，并引入了峰和谷的概念，进而设计了相应的分词算法，大规模开放测试结果显示，该算法关于字间位置的分词正确率为85．88％，较单独使用互信息或t-测试差分别提高了2．47％和5．66％。     

Visualization of large data sets with the Active Data Repository

We implement ray-casting-based volume rendering and isosurface rendering methods using the Active Data Repository (ADR) for visualizing out-of-core data sets. We have developed the ADR object-oriented framework to provide support for applications that employ range queries with user-defined mapping and aggregation operations on large-scale multidimensional data. ADR targets distributed-memory parallel machines with one or more disks attached to each node. It is designed as a set of modular services implemented in C++, which can be customized for application-specific processing. The ADR runtime system supports common operations such as memory management, data retrieval, and scheduling of processing across a parallel machine     

Efficient aggregation algorithms on very large compressed data warehouses

Multidimensional aggregation is a dominant operation on data warehouses for on-line analytical processing(OLAP).Many efficinet algorithms to compute multidimensional aggregation on relational database based data warehouses have been developed.However,to our knowledge,there is nothing to date in the literature about aggregation algorithms on multidimensional data warehouses that store datasets in mulitidimensional arrays rather than in tables.This paper presents a set of multidimensional aggregation algorithms on very large and compressed multidimensional data warehouses.These algorithms operate directly on compressed datasets in multidimensional data warehouses without the need to first decompress them.They are applicable to a variety of data compression methods.The algorithms have different performance behavior as a function of dataset parameters,sizes of out puts and ain memory availability.The algorithms are described and analyzed with respect to the I/O and CPU costs,A decision procedure to select the most efficient algorithm ,given an aggregation request,is also proposed.The analytical and experimental results show that the algorithms are more efficient than the traditional aggregation algorithms.     

An evaluation of statistical methods in handwritten hangul recognition

Although structural approaches have shown better performance than statistical ones in handwritten Hangul recognition (HHR), they have not been widely used in practical applications because of their vulnerability to image degradation and high computational complexity. Statistical approaches have not received high attention in HHR because their early trials were not promising enough. The past decade has seen significant improvements in statistical recognition in handwritten character recognition, including handwritten Chinese character recognition. Nevertheless, without a systematic evaluation on the effects of statistical methods in HHR, they cannot draw enough attention because of their discouraging experience. In this study, we comprehensively evaluate state-of-the-art statistical methods in HHR. Specifically, we implemented fifteen character normalization methods, five feature extraction methods, and four classification methods and evaluated their performances on two public handwritten Hangul databases. On the SERI database, statistical methods achieved the best performance of 93.71 % accuracy, which is higher than the best result achieved by structural recognizers. On the PE92 database, which has small number of samples per class, statistical methods gave slightly lower performance than the best structural recognizer.     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。