基于双层数据仓库的MIS设计研究

文章提出了在MIS设计中构建双层数据仓库的思想,数据仓库的第一层面向即时OLAP,数据仓库的第二层面向长期趋势的OLAP,并给出一个实例说明这种思想的有效性。     

基于双层数据仓库的MIS设计研究

文章提出了在MIS设计中构建双层数据仓库的思想,数据仓库的第一层面向即时OLAP,数据仓库的第二层面向长期趋势的OLAP,并给出一个实例说明这种思想的有效性。     

数据仓库和OLAP在港口物资管理中的应用

该文对通过数据仓库和OLAP技术进行研究,设计了港口物资管理数据仓库模型,并分析了基于MS SQL Server2005数据仓库实施方案的OLAP分析结果展现过程。     

数据仓库的OLAP技术研究

本文主要介绍数据仓库基本理论以及其应用之一的OLAP技术，OLAP技术是数据仓库的主要应用技术之一，OLAP能够提供很好的决策支持，并能进行数据的多维分析。     

中国城市空气质量数据仓库的研究与实现

根据空气质量监测数据的空间特征,对数据仓库的星型模型进行扩展,利用Oracle10g和ArcGIS9．0设计并建立中国城市空气质量数据仓库的原型系统,实现面向高级分析、挖掘和决策的数据组织和管理。为方便查询和分析数据,设计一个基于Web的空间OLAP系统,弥补了传统OLAP在空间分析和可视化表达方面的不足。     

基于数据仓库技术的银行个人征信系统研究和设计

数据仓库和OLAP是决策支持系统的重要组成部分,它们能够帮助决策者有效的分析和理解问题.本文通过对数据仓库和OLAP概念及体系结构的分析,结合具体的需求,给出了银行个人征信系统的结构设计和实现过程,并对设计过程中用到的技术特点进行分析.     

数据仓库与OLAP在软件测试中的应用研究

本文将数据仓库与OLAP的基本原理与相关技术应用于软件测试中,利用数据仓库存储清洗的、汇总的和综合后的测试数据,并利用OLAP对其进行多维数据分析。本文进行了软件测试分析系统的数据仓库和OLAP的设计。最后本文展示了系统的分析结果,并且解释说明了这些结果对软件测试的意义和作用。     

数据仓库技术在零售企业的应用研究

本文首先介绍了数据仓库理论及联机分析处理（OLAP）技术,并通过以某零售企业产品销售为主题的数据仓库模型的构建,介绍了如何建立数据仓库的体系结构,提出了数据仓库的构建和设计过程。     

基于星型模式的OLAP工具的研究和设计

介绍了OLAP技术并着重分析了关系OLAP，给出了多维分析的概念模型－多维模型，以及基于星型模式的数据仓库OLAP设计方法，最后提出了一套详细的三层结构的OLAP工具的设计方案并举例说明。     

基于动态镜像的实时数据仓库存取处理技术

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响查询分析的精度和效率,本文提出一种动态镜像技术,该技术在数据仓库外部构建动态存储区域;同时,本文对传统ETL技术进行了改进。基于TPC-H基准的实时数据仓库测试系统对动态镜像技术下的OLAP性能进行了分析与评估。实验结果显示,实时查询效率提高了50%,平均查询精度达到93%。     

OLAP系统数据更新方法的研究

本文讨论了在OLAP数据和结构发生改变时，涉及到的数据源更新同步、在OLAP数据库中加入和改变数据及合并分区等问题，并给出了采用增量法加速更新的处理方式。     

实时分布式系统性能测试技术研究

实时分布式系统的性能是关注核心,对其进行评估和测试关系着系统的应用前景。基于实时分布式系统的性能测试需求,对系统关键的处理性能、存储性能、传输性能以及实时恢复性能这四种性能测试方法进行了研究和探讨,同时分别利用实时分布式系统中e600架构的处理器、flash存储器、FC网络以及分区调度策略针对这些方法开展了测试,并对获得的测试结果进行了分析。分析结果表明,性能测试结果可信,方法可行,可作为实时分布式系统评测依据。     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

航空电子嵌入式实时操作系统的安全策略

新一代航空电子系统是一种高度综合化、模块化的系统。为了确保系统工作的安全与可靠,需要具有高安全性能的实时操作系统。该文介绍软件的分区管理和信息安全管理、分区间通信的虚通道等技术,讨论航空电子嵌入式实时操作系统中的数据安全策略。实验结果表明了该策略的有效性。     

基于维层次的OLAP变粒度存储策略

目前的决策支持体系结构中都是采用数据仓库来存储系统中的分析数据,应用OLAP技术实现系统中的分析功能。但是,数据量的增长也使得DataCube不断增大,因而影响到了OLAP的效率。本文提出了一种基于层次的OLAP变粒度存储策略,根据实际情况灵活地调整需要进行聚集的粒度与数据集,从而更好地满足数据分析的需要。     

基于Spark的实时视频分析系统

视频监控技术在交通管理、公共安全、智慧城市等方面有着广泛的应用前景,且向着智能识别、实时处理、大数据分析的方向发展. 本文针对大规模实时视频监控提出了新的解决方案. 基于Spark streaming流式计算、分布式存储及OLAP框架,使多路视频处理在可扩展性、容错性及数据多维聚合分析上具有明显的优势. 系统根据视频处理算法划分为单机处理与分布式处理. 并将视频图像处理与数据分析耦合,利用Kafka消息队列与Spark streaming完成对多路视频输出数据的进一步操作. 结合分布式存储方案,并利用OLAP框架实现对海量数据实时多维聚合分析与高效实时查询.     

基于Oracle的OLTP与OLAP数据库设计及实现

介绍了OLAP和OLTP处理系统的概念,根据这两种数据库应用在实时性、并发性及数据量大小等方面的不同,数据库在设计方面侧重的技术各有不同,阐述了数据库设计技术,即内存设计、变量绑定、SQL并行执行、表分区存储、磁盘IO能力等设计技术在这两种数据库中。     

智能数据分区与布局研究

大数据时代,数据规模庞大,由数据进行驱动的应用分析场景日益增多.如何快速、高效地从这些海量数据中提取出用以分析决策的信息,给数据库系统带来重大挑战.同时,现代商业分析决策对分析数据的实时性要求数据库系统能够同时快速处理ACID事务和复杂的分析查询.然而,传统的数据分区粒度太粗,且不能适应动态变化的复杂分析负载;传统的数据布局单一,不能应对现代大量增加的混合事务分析应用场景.为了解决以上问题,“智能数据分区与布局”成为当前的研究热点之一,它通过数据挖掘、机器学习等技术抽取工作负载的有效特征,设计最佳的分区策略来避免扫描大量不相关的数据,指导布局结构设计以适应不同类型的工作负载.首先介绍了智能数据分区与布局的相关背景知识,然后对智能数据分区与布局技术的研究动机、发展趋势、关键技术进行详细的阐述.最后,对智能数据分区与布局技术的研究前景做出总结与展望.     

Compression and aggregation of Bayesian estimates for data intensive computing

Bayesian estimation is a major and robust estimator for many advanced statistical models. Being able to incorporate prior knowledge in statistical inference, Bayesian methods have been successfully applied in many different fields such as business, computer science, economics, epidemiology, genetics, imaging, and political science. However, due to its high computational complexity, Bayesian estimation has been deemed difficult, if not impractical, for large-scale databases, stream data, data warehouses, and data in the cloud. In this paper, we propose a novel compression and aggregation schemes (C&A) that enables distributed, parallel, or incremental computation of Bayesian estimates. Assuming partitioning of a large dataset, the C&A scheme compresses each partition into a synopsis and aggregates the synopsis into an overall Bayesian estimate without accessing the raw data. Such a C&A scheme can find applications in OLAP for data cubes, stream data mining, and cloud computing. It saves tremendous computing time since it processes each partition only once, enabling fast incremental update, and allows parallel processing. We prove that the compression is asymptotically lossless in the sense that the aggregated estimator deviates from the true model by an error that is bounded and approaches to zero when the data size increases. The results show that the proposed C&A scheme can make feasible OLAP of Bayesian estimates in a data cube. Further, it supports real-time Bayesian analysis of stream data, which can only be scanned once and cannot be permanently retained. Experimental results validate our theoretical analysis and demonstrate that our method can dramatically save time and space costs with almost no degradation of the modeling accuracy.     

EXODuS: Exploratory OLAP over Document Stores

OLAP has been extensively used for a couple of decades as a data analysis approach to support decision making on enterprise structured data. Now, with the wide diffusion of NoSQL databases holding semi-structured data, there is a growing need for enabling OLAP on document stores as well, to allow non-expert users to get new insights and make better decisions. Unfortunately, due to their schemaless nature, document stores are hardly accessible via direct OLAP querying. In this paper we propose EXODuS, an interactive, schema-on-read approach to enable OLAP querying of document stores in the context of self-service BI and exploratory OLAP. To discover multidimensional hierarchies in document stores we adopt a data-driven approach based on the mining of approximate functional dependencies; to ensure good performances, we incrementally build local portions of hierarchies for the levels involved in the current user query. Users execute an analysis session by expressing well-formed multidimensional queries related by OLAP operations; these queries are then translated into the native query language of MongoDB, one of the most popular document-based DBMS. An experimental evaluation on real-world datasets shows the efficiency of our approach and its compatibility with a real-time setting.