可扩展数据仓库若干关键问题研究与分析

当大量复杂异构的数据不断进入数据仓库以后，最初的配置渐渐适应不了新的环境，因此数据仓库必须要设计成为可扩展的体系结构，从而能够满足将来数据仓库的性能要求，它能够随着数据、最终用户、复杂性和功能性的增长而增长，并且在增长的同时其性能水平并不会下降。文中通过对数据集成、高效查询和非规格化等几个可扩展数据仓库关键问题进行研究，使得当大量异构数据涌入可扩展数据仓库中时系统性能不会下降，很好地满足决策支持，取得较好效果。     

数据仓库的可扩展性研究与设计

随着海量异构的数据不断进入数据仓库和系统用户的大量增加,在数据质量、可用性和查询等方面的因素将严重影响数据仓库的性能,所以数据仓库必须设计成可扩展的体系结构.文中采用可扩展的软件并行和硬件并行相结合的方法进行数据仓库的性能扩展,在数据仓库初建时采用SMP结构,当数据仓库增长到一定的时候采用高速缓存相关的非一致性内存访问结构,并且较好地利用I/O并行性,取得较好效果.使得当大量异构数据涌入可扩展数据仓库中时系统性能不会下降,很好地满足决策支持.     

海量水文管理数据信息整合与更新机制研究

针对海量水文管理数据使用价值开发不足的问题,结合水文管理数据的特点与索引建设需求,提出可扩展索引类型的水文管理数据信息整合与自动化更新机制。通过异构系统访问与编码映射机制,屏蔽各独立管理系统的异构性与复杂性,提供统一的数据互操作接口;构建索引类型可扩展与定制模型,提供数据源与索引类型扩展功能接口,实现索引类型可更新与建立规则可定制;封装流程化自动更新模块,实现索引数据库自动化与定时更新。在此基础上,研发实现水文管理数据资源整合与索引服务系统。经测试表明,该服务系统可实现快速挖掘与整合海量水文管理数据碎片化信息,建立水文管理索引数据仓库,在数据整合质量与更新效率上均表现出良好的性能,能够为水利信息化建设与管理提供可靠、灵活的技术支撑。     

高校财务项目管理系统的数据仓库的设计

数据仓库系统是存储大量历史数据供分析和对决策进行支持的系统,本文详细描述了在高校财务项目管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载（ETL）以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

Web数据仓库及其在办公自动化系统中的应用

随着办公自动化系统应用的日益深入,产生了大量的历史数据,同时,在办公自动化系统中,也需要利用历史数据和环境数据进行办公自动化的辅助决策。因此可以利用Web数据仓库技术,将办公自动化系统中的海量数据重组,构成可用、可控、可扩展的数据组织,以满足企业各级主管和办公、业务人员分析决策的信息需求。文中介绍了Web数据仓库在办公自动化系统中的应用。在分析Web数据仓库以及办公自动化的概念及特点的基础上,结合办公自动化系统的数据形式和决策需求,描述了Web数据仓库技术与办公自动化系统结合的框架结构,并以一个子系统为例说明Web数据仓库技术在办公自动化系统中的具体实现方法。     

基于数据仓库的通用数据传输系统的研究实现

数据仓库的建构和维护依靠集成中心和基表库之间大量的数据交互。一般的数据传输方法会造成性能瓶颈,繁重的文件读写负载,并且不支持跨平台的数据传输,影响了数据集成和数据仓库的维护。该文研究非阻塞I／O通信服务模式、线程池技术在传输系统中的具体应用,并实现各项技术以解决通信性能瓶颈。以嵌入式数据库HSQLDB作数据库支持,支持异构平台间的通信。     

水文信息系统中数据仓库的设计

数据仓库系统是存储大量历史数,据供分析和对决策进行支持的系统。描述了水文信息系统中建立数据仓库的过程,包括数据仓库模型设计、主题的确定、粒度和维的确定、异构数据的转换等内容。     

利用数据仓库技术解决异构数据库的集成问题

企业信息系统存在大量的异构数据库,如何集成异构数据库、解决信息孤岛现象是我们面临的问题。利用数据仓库技术来集成异构数据库是一个理想的解决方案。本文给出了异构数据库的集成方案,提出了从异构数据库抽取和转换数据的新方法,提出了ODBC用于数据抽取过程的思路,提出了数据转换规则集的概念并用于数据抽取过程中。数据仓库的建立不仅实现了企业信息系统中信息的集成,更重要的是为企业决策提供了信息源。     

Web数据仓库及其在办公自动化系统中的应用

随着办公自动化系统应用的日益深入，产生了大量的历史数据，同时，在办公自动化系统中，也需要利用历史数据和环境数据进行办公自动化的辅助决策。因此可以利用Web数据仓库技术，将办公自动化系统中的海量数据重组，构成可用、可控、可扩展的数据组织，以满足企业各级主管和办公、业务人员分析决策的信息需求。文中介绍了Web数据仓库在办公自动化系统中的应用。在分析web数据仓库以及办公自动化的概念及特点的基础上，结合办公自动化系统的数据形式和决策需求，描述了Web数据仓库技术与办公自动化系统结合的框架结构，并以一个子系统为例说明web数据仓库技术在办公自动化系统中的具体实现方法。     

公安领域数据仓库体系结构研究

公安领域各个应用系统的存储数据是分布式和异构的,而传统的知识发现系统和数据仓库建立在同质数据源基础上,并不能满足公安领域知识发现的需要.因此,构建公安领域的数据仓库体系结构是在公安领域成功应用知识发现技术的关键.在综合考虑数据仓库传统构建策略的基础上,将公安部门分布式、异构数据库同社会其它相关部门数据仓库融合在起来,提出了一种联合数据仓库体系结构,该体系结构支持跨数据集市访问,更加符合公安领域知识发现对数据信息的实际需求.     

动态虚拟盘阵数据分布算法

尽管当今的磁盘等外存储设备容量增加得很快,但还是无法满足用户应用程序的需要;在性能上,外存储设备已经成为计算机系统的瓶颈;为此,在集群环境下,将分布式的外设构成动态虚拟盘阵系统是一种较好的解决方案,而数据分布算法是动态虚拟研究的一项重要内容。也就是说,采用优化的数据分布算法,使得盘阵的性能和容量随盘阵的扩展而扩展。研究的主要工作是综述以往对动态盘阵数据分布算法,并对以往SCADDAR算法进行了扩充,提出了D／H(Double／Halve)数据分布算法。     

一种有效的空间数据仓库区域聚集查询索引结构

空间数据仓库有效地支持对空间数据的管理和分析,提供更加全面的决策支持．讨论了一种有效的空间决策支持手段——空间区域聚集查询的实现．基于aggregate cubetree和aR—tree提出了一个可以有效地在空间维和非空间维上进行区域聚集查询的索引结构aCR-tree及其相关算法,并计算分析了查询算法的时间复杂度．与现有技术相比aCR-tree降低了存储代价和每次查询访问的节点数,通过实验证明,该索引结构可以提供较好的存储性能和查询性能．     

数据仓库技术在工程管理中的应用研究

以实现建筑工程信息化以及管理科学化为目标,提出利用数据仓库和联机分析处理（On-Line Analytical Processing,OLAP）技术,建立计算机支持的建筑工程智能决策系统。详细介绍建筑工程管理数据仓库建设的步骤方法以及实施成效,满足不同层次和部门的工程管理及技术人员的决策需求,实现科学化决策。     

基于供应链数据仓库的OLAP数据挖掘

现代企业的竞争已经转变为供应链之间的竞争，供应链管理是经济全球化发展的产物。在供应链系统的数据库或数据仓库之中存储了大量的数据，如果在供应链数据仓库的基础之上开发OLAP数据挖掘系统，可以使供应链数据仓库更好地适应物流企业决策的需求。文中介绍了基于供应链数据仓库的OLAP数据挖掘应用技术，最后给出了应用实例，并讨论供应链数据仓库的OLPA数据挖掘系统的工作模式及其今后的研究方向。     

层级数据仓库结构模型设计

当前数据仓库大多是为了在具体竞争环境中获益而建立起来的。如何进一步拓展数据仓库，以及从单纯的局部利益获取向更高更广的获益出发，层级数据仓库结构模型应运而生。在层级数据仓库结构模型上除了可以获取用户感兴趣的规则模式外，更利于广泛性规则模式知识的发现。     

税务决策支持系统设计

税收信息化经过多年发展积累了大量数据,利用数据仓库技术建立的税务决策支持系统可以充分利用这些数据.介绍了税务决策系统的设计过程,业务上包括税务报表查询、统计分析监控、税收分析与预测3大部分,技术架构可划分为3个层次:数据获取、数据管理、数据使用.数据仓库中的数据则按照星型模型组织,数据具有不同的粒度.     

数据仓库与数据库相结合完善通风网络数据处理

数据仓库技术是信息产业的新兴技术之一，对大型企业的事务分析、决策等具有很大意义。将数据仓库技术、数据挖掘技术引入到矿井通风网络数据处理这一研究领域，介绍了数据仓库的概念、特征以及数据分析的相关技术，讨论了矿山企业通风网络数据仓库的建立过程，提出了一种数据仓库技术与数据库技术相结合的矿山企业通风网络管理系统。     

数据仓库在银行卡统计系统中的研究与应用

数据仓库技术是近年来出现并发展迅速的一种技术,可以充分利用数据仓库中已存储的大量信息帮助决策者进行决策。本文在分析总体需求和设计目标的基础上,介绍基于数据仓库的银行卡统计系统的设计方案和实现数据自动抽取的关键技术。     

Efficient query processing framework for big data warehouse: an almost join-free approach

The rapidly increasing scale of data warehouses is challenging today’s data analytical technologies. A conventional data analytical platform processes data warehouse queries using a star schema — it normalizes the data into a fact table and a number of dimension tables, and during query processing it selectively joins the tables according to users’ demands. This model is space economical. However, it faces two problems when applied to big data. First, join is an expensive operation, which prohibits a parallel database or a MapReduce-based system from achieving efficiency and scalability simultaneously. Second, join operations have to be executed repeatedly, while numerous join results can actually be reused by different queries. In this paper, we propose a new query processing framework for data warehouses. It pushes the join operations partially to the pre-processing phase and partially to the postprocessing phase, so that data warehouse queries can be transformed into massive parallelized filter-aggregation operations on the fact table. In contrast to the conventional query processing models, our approach is efficient, scalable and stable despite of the large number of tables involved in the join. It is especially suitable for a large-scale parallel data warehouse. Our empirical evaluation on Hadoop shows that our framework exhibits linear scalability and outperforms some existing approaches by an order of magnitude.     

高性能数据仓库平台构建的研究

随着数据仓库逐渐成为企业决策支持的重要技术手段,提高数据仓库的综合性能问题日益成为人们重视与关注的焦点之一。在描述形成高性能数据仓库平台及高性能数据仓库环境的基本观点和技术的基础上,给出了建立高性能数据仓库平台的几个关键要素,提出了一种基于可扩展的数据集市的数据仓库系统结构。